A3--仲思宇--需求测试场景下的多模态 AI Agent 落地实践.pdf

1、需求测试场景下的多模态AI Agent落地实践仲思宇58同城 本地生活 测试平台研发负责人仲思宇58同城 本地生活-质量部-测试平台研发负责人负责58到家测试工具体系规划与架构设计，拥有多项测试工具发明专利。深耕客户端与服务端自动化测试多年，擅长业务质量体系规划及技术赋能落地，丰富的测试平台建设与效能提升经验。专注领域：质量体系建设、AI测试体系建设目录CONTENTS需求测试的 AI 应用背景0102 多模态 AI Agent 基础能力构建业务链路知识库的机制03需求落地效果实践04未来展望05PART 01需求测试的 AI 应用背景我们能用AI做哪些现有迭代类型的测试前后端需求50%纯前端

2、改动30%其他20%功能逻辑需求技术改造需求H5页面改动AppNative/RN小程序埋点纯后台需求性能需求通通过多模态大模型能力，完成纯前端改动的xx%部分，降低人力介入部分，降低人力介入纯前端改动30%AI测试xx%前端需求后端需求需求比例多模态测试页面改动AI是否可以承接前台业务视角借助多模态AI赋能脚本编写和维护成本高页面固化操作框架有一定学习成本无法快速适配其他业务不需要写固定脚本自适应页面操作自然语言、需求描述驱动任务传统UI自自动化 +AI推理推理 +AI视觉推理规划执行步骤需求断言页面兼容性AI生态：知识库、图谱、训练+操作手机AI推理和图谱链路视觉观察与断言=质量AI助手低成

3、本部署、测试使用和扩展到其他业务等PART 02多模态 AI Agent 基础能力构建多层级的业务系统架构与协作逻辑MCP知识图谱实时运行控制层异步控制各Agent知识库/DBRAG知识库检索Database规划层思考与规划设备执行层App、WebAgent视觉断言层图片/视频视觉断言模型层文本/推理多模态自然语言驱动可视化执行过程多Agent异步调用清晰的报告层级多设备灵活执行特点特点客户端AI自动化测试架构介绍Android支持的端PC-WebH5小程序AI端测试支持的测试能力回放测试生成报告执行日志Dify工作流RAGFlow需求文档知识库测试用例需求解析提示词关联测试覆盖率业务地图页面

4、结构Neo4j知识图谱大模型配置多场景任务AI断言实时反馈设备执行过程配置及链路功能操作端能力打开App打开网址点击长按截图页面结构录制视频设备尺寸返回输入滑动滑动到底部页面遍历无图、单图和多图决策断言解析页面OCR执行模式规划模式观察模式规划模式的流程输入提示词AI解析推理步骤AI驱动设备AI断言通过提示词拆解执行步骤的2种方式：1、通过提示词，拆解意图，任务分解，把场景拆解成一系列步骤2、简化提示词编写成本，通过拆解的关键字查询图谱链路-2.1 存在：拆解图谱意图，任务分解-2.2 不存在：直接使用提示词拆拆分分自自然然语言言知知识图谱生生成成执行行步步骤输入标准化 解析结构化 推理可解释

5、文本解析*命中存量信息链路解析*知识图谱拼接执行链路自然自然语言解析解析生成生成规划步骤AI意图+步骤AI驱动执行设备1_驱动的关键方法输入提示词AI解析推理步骤AI驱动设备AI断言功能方法说明操作tap(element)点击标注编号的UI元素long_press(element)长按指定元素swipe(element,direction,dist)按方向与距离滑动元素（up/down/left/right;short/medium/long）swipe_edges(element,direction)一步滑到页首/页尾（up/down）网格操作grid()开启网格覆盖以自由点击/长按/滑动任

6、意区域文本输入text(.)在输入框内输入文本（键盘可见时）系统控制back()返回上一界面AI指令aiModel调用多模态大模型执行解析/规划（输入prompt与截图，返回文本/结构化结果）getMessage获取上一轮模型输出并做清洗（用于展示/后续流程衔接）aiAssert基于截图与规则做AI断言（如页面是否异常、元素是否变化、A/B图是否一致）argSetting设置模型与推理参数（模型类型、温度、token上限、超时等）模块化传统UI自动化能力和AI能力通过拆解的步骤，对关键词解析，映射到对应方法多模态观察*控件树截图历史信息执行设备操作点击输入滑动根据根据计划循循环执行直到直到任任