A1--刘羽--AI赋能微博广告业务测试突破探索与实践.pdf

1、刘羽新浪微博、资深测试开发工程师刘羽刘羽新浪微博 资深测试开发工程师资深测试开发工程师微博质量保证部资深测试开发工程师，拥有11年后端测试开发经验，现负责微博广告投放引擎测试工作。擅长数据驱动的自动化测试框架设计，深入探索质效提升路径。目前学习AI工具在质效提升方面的应用，专注评测智能方案在实际业务场景中的落地效果与可行性。目录目录CONTENTS0101微博广告业务背景及传统测试方法局限0202AI参与微博广告业务测试变革0303AI赋能微博广告业务测试突破0404 未来展望未来展望PART 01PART 01微博广告业务背景及传统测试方法局限1.广告业务介绍：微博广告业务背景及传统测试方法

2、局限微博广告业务背景及传统测试方法局限微博广告业务背景及传统测试方法局限微博广告业务背景及传统测试方法局限2.微博广告业务介绍：微博广告业务背景及传统测试方法局限微博广告业务背景及传统测试方法局限业务耦合严重业务耦合严重机械性工作多机械性工作多人员培养周期长人员培养周期长需求高频迭代需求高频迭代用例设计不全用例设计不全外部辅助工作多外部辅助工作多碎片化工作时间碎片化工作时间降本增效的今天降本增效的今天，如何保证质量如何保证质量、提高效率提高效率？PART 02PART 02AI参与微博广告业务测试变革AIAI参与微博广告业务测试变革参与微博广告业务测试变革人工智能技术架构演进：从基础模型到多智

3、能体协作体系人工智能技术架构演进：从基础模型到多智能体协作体系AIAI参与微博广告业务测试变革参与微博广告业务测试变革智能体参与的软件测试全流程架构：从需求到上线的自动化与协同测试体系AIAI参与微博广告业务测试变革参与微博广告业务测试变革1、广告智能体应用 目标：全流程测试中嵌入智能体能力；打破流程壁垒；提升测试效率与质量AIAI参与微博广告业务测试变革参与微博广告业务测试变革MCP 协议赋能 AI Agent 全链路协作AIAI参与微博广告业务测试变革参与微博广告业务测试变革1.广告业务测试智能体应用-应用示例AIAI参与微博广告业务测试变革参与微博广告业务测试变革2.AI辅助测试用例生成

4、AIAI参与微博广告业务测试变革参与微博广告业务测试变革模型+知识图谱增强RAG检索召回率40%-2.AI辅助测试用例生成AIAI参与微博广告业务测试变革参与微博广告业务测试变革1、生成的用例是否与业务相关？2、生成的用例是否全面覆盖业务逻辑？3、生成的用例测试点是否准确？4、生成的用例是否冗余？业务方使用测评知识库的召回能力用例生成的采纳情况2.AI辅助测试用例生成-应用应用思考思考AIAI参与微博广告业务测试变革参与微博广告业务测试变革问题:预期结果:来源2.AI辅助测试用例生成-知识点召回能力测评知识点召回能力测评AIAI参与微博广告业务测试变革参与微博广告业务测试变革2.AI辅助测试用

5、例生成-知识点召回能力测评知识点召回能力测评结果结果325个查询问题中，309个被成功召回，召回率：95.1%16个未召回的问题中，真实未召回问题个数为13个，占比：81.25%，脏数据条数为3个，占比：18.75%49个关联关系中有39个被精准召回，GraphRAG 联想召回率：79.6%AIAI参与微博广告业务测试变革参与微博广告业务测试变革2.AI辅助测试用例生成-用例生成用例生成能力测评能力测评AIAI参与微博广告业务测试变革参与微博广告业务测试变革01原因：业务范围太大解决：业务范围圈定，限制联想能力泛滥0203用例功能溢出用例功能覆盖失效用例功能覆盖失效用例有幻觉用例有幻觉原因：业

6、务迭代版本混淆解决：增加知识库业务迭代版本管理原因：大模型对于不理解的概念在瞎掰解决：提示词能力限制+知识库知识点优化04用例功能覆盖不足用例功能覆盖不足原因：大模型业务理解能力有限解决：知识库业务知识点完善05用例冗余用例冗余原因：生成用例角度宽范解决：prompt限定用例生成角度2.AI辅助测试用例生成-用例生成应用遇到的用例生成应用遇到的问题问题AIAI参与微博广告业务测试变革参与微博广告业务测试变革效果问题效果问题转化率少转化率少互动率少互动率少ROIROI数据不理想数据不理想消耗跑太快消耗跑太快广告无消耗广告无消耗0101投放问题投放问题定向不准定向不准数据包未生效数据包未生效数据回