A4--易品--小Q：数字QA在质量场景的探索实践.pdf

1、小Q：数字QA在质量场景的探索实践易品字节跳动质量技术专家 进群可咨询易品字节跳动 质量技术专家先后在滴滴、字节质量中台工作，现任字节跳动质量技术专家，负责字节内部质量智能体小Q的产品能力建设，在LLM全流程智能测试、接口自动化/流量回放等方向，打造多款质量基建产品，有丰富的质效方案设计及落地经验目录CONTENTS1.质量技术发展历程2.业务需求理解3.Agent编排调度4.测试解决方案5.未来展望PART 01质量技术发展历程 几个不同阶段 小Q演进过程及解决方案 落地的核心问题质量技术发展历程：行业趋势小Q演进过程 全流程智能化全流程智能化从需求理解、变更分析、智能自测、端到端自测的全流

2、程自动化智能化 多多产品形态面向不同场景、不同角色支持IDE插件、Web端、Chat端，也支持流水线、MCP开放集成被被动主主动传统模式：人工设计测试用例 工具执行 人工分析结果小Q模式：AI理解需求 智能规划测试 自主执行验证 智能分析反馈小Q核心能力小Q整体方案探索实践中的关键问题PART 02业务需求理解 业务理解-业务知识库 需求理解-智能用例生成业务理解：测试领域Agent的基石LLM工程化落地的核心矛盾：技术必须与领域知识深度结合，否则就是空中楼阁。小Q业务知识库：构建关键核心思想：从“文档仓库”到“业务知识图谱”，多层次、强关联、可推理小Q业务知识库：落地实践核心思路：需求信息提

3、取+业务知识召回+测试设计引导小Q需求理解：智能用例生成定位：面向需求，自动分析，支撑后续自主测试、兼顾人工介入小Q需求理解：智能用例生成演进过程PART 03Agent编排调度 小Q的MAS架构 复杂任务的设计 提升智能感小Q的MAS架构常见的MAS架构小Q最初实现的MAS架构 Supervisor模式，模式，Plan&Execute思想，思想，MCP调度实际落地的问题小Q-MAS系统的上下文管理prompt是指令，而是指令，而context是知是知识和上下文小Q用了上下文的总结、剪枝、共享、RAG等手段搭建了一个完善的Context Engineering 系统小Q-MAS架构的通信协议A

4、gent as MCP server作为tool调用？小Q的选择：MCP&A2A，在专家级Agent、偏动态场景偏向A2A，如测试规划Agent与具体执行子Agent通信小Q智能感提升：双引擎驱动的对话系统实现 小Q主要依赖双引擎驱动承接对话+任务拆解，感知引擎+推理引擎问题 对话生硬，不具有用户澄清、回绝、引导的能力 所有任务都进行规划，不具备问题分类的能力（如知识问答/平台问询快速回答，ui/api测试复杂任务进行规划）小Q智能感提升：动态规划+并行调度动态规划 问题建模用DAG将任务拆成可复用子问题，追求“子问题最优全局最优”状状态评估Planner循环评估状态价值，依据环境与执行反馈动

5、态更新计划 重重规划当信息变化时触发replan，保持路径接近全局最优并行并行调度 并并发构建根据DAG、任务优先级、并发度限制生成可并集，最大化子任务的并行效率 执行中断当环境触发中断信号时，支持抢占式降级、暂停或取消正在执行的子任务 结果聚合聚合Act结果与中间产物，对失败/冲突任务尝试重试/跳过策略，确保计划持续推进PART 04测试解决方案 落地的问题 小Q如何重构测试模式 小Q智能自测Agent 小Q自主测试Agent业务落地遇到的问题小Q如何重构测试模式前置需求理解以缺陷召回为导向的智能自测Agent以分工协作为导向的自主测试Agent反馈修复报告面向RD面向QA小Q智能自测Age

6、nt自主完成自主完成 测试需求分析-自主自主规划测试计划-执行测试-缺陷缺陷识别修复的整个自个自测流程，与IDE 开开发环境无缝集成，为研发人员提供实时、高效的智能化测试服务小Q-智能自测的一个具体示例智能自测Agent：缺陷检测/智能CR 定位：低成本快速发现代码类缺陷和高危功能、代码，为后续自主测试Agent圈定范围通用缺陷检测仅依赖代码+可选知识，简便易用，执行快速，不挑活业务缺陷检测结合CodeGraph、PRD/TRD/隐知识、缺陷理解代代码理解-评论生成-评论验证