A2--刘道伟--百度商业基于大模型的智能交付探索与实践.pdf

1、百度商业基于大模型的智能交付探索与实践刘道伟资深测试开发工程师刘道伟百度 资深测试开发工程师2014年加入百度，在搜索、商业等多个核心业务负责质效工作，专注于研发效能提升、DevOps实践、智能交付等方向。在工作期间，既负责过新业务的质效从零建设，也负责过成熟业务的质效重构，具备不同类型业务研发效能提升的丰富经验。担任百度技术学院金牌讲师，负责员工的持续集成的课程培训，曾多次在百度效能大会、GMTC等会议进行主题分享。目录C O N T E N T S1.背景介绍2.业务的探索与实践3.未来展望议题背景01业务智能交付的发展智能交付不是一个新的东西，是百度商业智能交付不是一个新的东西，是百度商

2、业QAQA一直在持续进行探索的方向一直在持续进行探索的方向大模型提升了智能交付的天花板，提供了更多可能性，降低了实现的难度大模型提升了智能交付的天花板，提供了更多可能性，降低了实现的难度大模型带来的新机会大模型理解能力及推理能力代码理解能力，能理解代码中的业务逻辑业务理解能力，能理解业务知识及测试领域专业知识可以通过推理给出测试建议、风险判断等大模型的生成能力可以基于代码生成单元测试，降低研发测试书写成本可以基于代码和文档，生成接口测试、手工测试、UI自动化测试等用例，提升研发自测质量和测试左移大模型的自然语言交互能力让知识传承和问答更加方便，通过大模型直接给出答案降低工具使用门槛，让更多工具

3、可以提供给研发自测让基于LUI的交付成为可能基于规则，难以理解代码和业务逻辑，规则的积累依赖人工枚举LR模型特征有限，风险打分难以模拟真实推理过程知识传承难，判断依赖人工经验单测书写成本高，推不动研发研发自测质量难以保障，需要人工提供用例，自主测试率提升困难新功能很难进行自动化测试知识问答依赖人工，自动回复规则匹配命中低测试工具不少，研发或者新人使用困难机器人主要是单一任务，复杂任务难以支持探索与实践02大模型重构质效领域的一些场景开发阶段测试阶段上线运维代码开发代码评审代码自测代码续写代码生成代码生成 单测生成单测生成 缺陷检测缺陷检测注释生成智能研发测试评估交付智能体交付智能体 交付助手交

4、付助手 测试用例生成测试用例生成智能交付智能交付测试规划测试执行测试准出线上监控定位止损智能报警 智能定位 止损推荐 运维助手智能运维智能研发-需求即交付研发过程中的一些现实：研发过程中的一些现实：并非所有的开发活动都是高价值的，特别是在一些成熟框架下的开发很多都是重复性的工作并非所有的开发活动都是高价值的，特别是在一些成熟框架下的开发很多都是重复性的工作语言重构背景下，很多开发工作是在做语言的翻译语言重构背景下，很多开发工作是在做语言的翻译大模型代码生成能力强大，可以提升代码编写效率大模型代码生成能力强大，可以提升代码编写效率智能交付 交付智能体理解“智能体是一种能够自主行动、感知环境、做出

5、决策并与环境交互的计算机系统或实体。它通常依赖大型语大型语言模型作为其核心言模型作为其核心决策和处理单元，具备独立思考、调用工具独立思考、调用工具去逐步完成给定目标完成给定目标的能力”软件交付过程不是一个单一目标的工作，在整个交付过程中，随着研发活动和测试活动开展QA的工作是不断的变化的。因此交付智能体，不是一个单一智能体，是一个跨越整个交付过程的多智能体，不同的子因此交付智能体，不是一个单一智能体，是一个跨越整个交付过程的多智能体，不同的子AgentAgent在不同环节完成不同的目标。在不同环节完成不同的目标。交付智能体的最终目标是实现交付智能体的最终目标是实现AI QAAI QA，实现的过

6、程需要通过数据飞轮不断迭代，实现的过程需要通过数据飞轮不断迭代手工测试自动化测试测试CopilotAIQA-Autopilot依赖人辅助人替代人智能交付 交付过程建模洞察：洞察：能够洞察到外界“变化”，结合知识判断风险，包含需求洞察、代码洞察、人员洞察等规划：规划：结合洞察信息和已经具备或执行的召回能力集合和数据，规划后续的行为，如测试方案、测试内容；执行：执行：结合规划产出及用例生成能力，动态执行测试，并能够对测试过程问题进行自动定位决策：决策：依据洞察信息，执行过程数据，结合测试经验和知识，决策是否可准入准出洞察Agent规划Agent执行Agent