9.22张尧 AI Agents在On-call助手场景中的探索与实践.pdf

1、DataFunSummit#2024AI Agents在On-call助手场景中的探索与实践张尧 博士/算法研究员背景介绍相关工作调研方案介绍未来展望01背景介绍eBay Sherlock.io 监控平台信号 指标 日志 追踪 事件能力 多维分析 告警规则 异常检测 追踪分析方案 BCD Groot Exemplar RemediationOn-call日常工作 endpoints/API/.是什么？我的PromQL/LogQL/.写的不对，可以帮我修改吗？我的指标/日志/事件/追踪/.数据怎么不见了？我设置的告警怎么不触发/反复触发/触发晚了/.？我的quota不够，可以帮我增加吗？02相关

2、工作调研检索增强生成 RAGGao et al.,2024,Retrieval-Augmented Generation for Large Language Models:A Survey.智能体 AI AgentsWeng.2023.LLM Powered Autonomous Agents.https:/lilianweng.github.io/posts/2023-06-23-agent/ReActYao et al.,2023,ReAct:Synergizing Reasoning and Acting in Language Models.反思 ReflectionShinn et

3、 al.,2023,Reflexion:Language Agents with Verbal Reinforcement Learning.Zhao et al.,2023,ExpeL:LLM Agents Are Experiential Learners.ReflexionExpeL思维树 ToTYao et al.,2023,Tree of Thoughts:Deliberate Problem Solving with Large Language Models.树搜索 LLM Agents+MCTSZhou et al.,2024,Language Agent Tree Searc

4、h Unifies Reasoning Acting and Planning in Language Models.Putta et al.,2024,Agent Q:Advanced Reasoning and Learning for Autonomous AI Agents.LATSAgent Q性价比？Kapoor et al.,2024,AI Agents That Matter.03方案介绍Le PenseurGenerated by AI意图识别 Intent RecognitionHi，sherlock-oncall，我的Raptor应用怎么platform metrics没

5、有了？-Sherlock：eBay的监控平台-Raptor:eBay基于Java Spring/Springboot的技术栈-platform metrics:一种特殊类型的指标私有词汇识别+RAG路由 Routing endpoints/API/.是什么？我的PromQL/LogQL/.写的不对，可以帮我修改吗？我的指标/日志/事件/追踪/.数据怎么不见了？我设置的告警怎么不触发/反复触发/触发晚了/.？我的quota不够，可以帮我增加吗？可以zoom帮我看下这个问题吗？Q&AAgentTriageAgentHierachical+Dynamic few-shot examples+Ense

6、mbleQ&A/Escalate重路由 Re-routing1.用户无法清晰描述问题2.用户追问(QA-Triage)3.第一轮路由错了4.智能规划 Intelligent Planning我的指标数据怎么不见了？历史问题Cause：没有onboardAction：检测Onboard状态Cause：rate-limitedAction：检查使用量1.检查用户提供的PromQL2.检查Onboard状态3.检查4.5.Escalate to Human on-callCause