A3--黄金--趣丸科技在运维AI Agent 的探索与实践.pdf

1、趣丸科技在运维AI Agent 的探索与实践趣丸科技-黄金黄金基础架构负责人趣丸科技的资深架构师，拥有9年的行业经验，专注于多云基础设施和AIGC赋能项目。在容器技术、高可用系统架构设计以及人工智能领域积累了丰富的实践经验。作为一名积极的开源社区贡献者，是知名混部项目Koordinator的核心维护者。多次在国际技术峰会上发表演讲。目前，正致力于探索AI运维Agent在IT运维领域的有效应用，以及AIGC技术在研发流程中的创新赋能方式，旨在通过这些前沿技术推动企业的数字化转型和业务创新目录01CONTENTS0203大模型与Agent 概述趣丸科技在智能运维Agent 上的探索与实践智能运维A

2、gent 应用场景分享04未来展望大模型与Agent 概述大语言模型什么是大语言模型大型语言模型（LLM）是基于大量数据进行预训练的超大型深度学习模型。LLM是一种类似人脑特征的深度学习算法，LLM 中的“Transformer”网络 本质上就像一个巨大的、在海量数据上训练的大脑关联区提示工程提示工程是指导生成式人工智能（生成式人工智能）解决方案生成所需输出的过程幻觉：大语言模型的输出可能与实际情况不符随机性：大模型的输出具有随机性，并不会严格准照指令AI Agent解密Agent可以理解为某种能自主理解、规划决策、执行复杂任务的智能体，它能够感知其环境，通过自己的决策和行动来改变环境，并通过

3、学习和适应来提高其性能。什么是Agent简单理解：Agent=Planning+Memory+ToolsLLM是大脑，而Agent就是完整的人Agent主要类别Autonomous Agent：通过自然语言的需求描述，能够自动化执行各项任务达成目标结果，必要的时候需要人为引导，具有明确的工具属性。Generative Agent：模拟人类特征、具备自主决策能力以及长期记忆等，一种具有数字原生意义上的AI-Agent。五层基石理论Models，也就是我们熟悉的调用大模型API。Prompt Templates，在提示词中引入变量以适应用户输入的提示模版。Chains，对模型的链式调用，以上一个输

4、出为下一个输入的一部分。Agent，能自主执行链式调用，以及访问外部工具。Multi-Agent，多个Agent共享一部分记忆，自主分工相互协作。Why Multi Agent复杂多领域问题，单一Agent无法胜任。不同场景需要不同的任务规划能力、思维能力等。更贴近人类行为实现简单无需协作开销分工协作场景化差异化趣丸科技在智能运维Agent 上的探索与实践AI在趣丸科技的落地引入Ai能力解决微服务落地带来的复杂性可观测能力的不断增强，产生海量数据，人工分析处理的负担加重2022/06 AIOps 打造高效运维采用基于AI能力的服务机器人 运用聊天的方式，有效执行运维操作实时获取并处理运维反馈2

5、022/09ChatOps创新尝试在根因定位、资源交付、故障总结等场景落地“知了”多Agent协作数字人，运维通用人工智能。2023/03 大模型革命“知了”运维数字员工什么是“知了”1.面向运维领域的通用人工智能体2.能达到3-5年经验的运维的数字员工3.基于多Agent协作框架的大模型应用AI Agent架构趣丸科技Agent架构多Agent探索历程趣丸科技多Agent架构发展阶段 二阶段 一阶段 三用户决定使用哪个Agent路由Agent决定使用哪个Agent主持Agent协调多个Agent工作智能运维探索历程由权威Agent控制下一步如何进行。权威Agent了解每一个Agent的领域范

6、围。由Agent自行控制下一步如何进行，是否需要协作，需要哪个Agent协作。每一个Agent都了解其他所有Agent的领域范围。常见多Agent实现模式智能运维探索历程双思维链架构智能运维探索历程多Agent协作模拟过程智能运维探索历程 Host Agent与Domain Agent共享记忆，Host Agent根据对话记录判断下一步行动 Human与Host Agent之间共享对话历史 Host Agent可以直接同用户对话Prompt实践1.给模型询问的机会2.让模型自我矫正3.Auto Few ShotPrompt实践让模型主动询问让大模型主动询问用户，可以使大模型输出更加信息丰富、更