《熊训德-AI 驱动的大数据自治:智能应对复杂运维挑战.pdf》由会员分享,可在线阅读,更多相关《熊训德-AI 驱动的大数据自治:智能应对复杂运维挑战.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、AI 驱动的大数据自治:智能应对复杂运维挑战熊训德目录大数据系统自治背景与挑战大数据智能管家技术框架及关键实现路径实践效果与案例分享探讨智能管家未来发展方向与潜在影响算法决策离线服务主机参数调优预测分析自助转冷知识/评测库模型/算法库异常收敛HDFSSPARKYARN巡检报表成本分析元启根因分析APISDK权限管控消息管道网络HIVE规则引擎告警收敛预处理定时巡检评估推荐模型训练资源调度Sql熔断自助弹性健康分评估错峰执行LLMAI增强AI驱动的全自治问题域一线专项产研/SRE专家知识库显示编程优化方法专家系统数据预处理特征分析异常检测关联分析趋势预测搜索词分类+归纳转换后的问题上下文窗口手动
2、维护知识库SOPpdf标注数据ES分布式数据节点向量文本检索向量检索腾讯云ES集群CPUGPUCPUES分布式机器学习节点冷启动工单系统TopN反馈优化重分布客户反馈特征分析表分区关联分析增长趋势预测冷热分布1.准确性2.幻觉3.滞后性1.Contents2.DAG3.Executors1.hosts-cpu2.hosts-mem3.host-io1.Contents2.DAG3.Executors1.hosts-cpu2.hosts-mem3.host-ioLLM1.SparkSql2.Schema3.ConfigYang Li,.Towards General and Efficient Online Tuning for Spark,VLDB大模型正在重新定义软件Large Language Model Is Redefining The Software