AI驱动的AE智能巡检平台-梁慧.pdf

1、2026.03.24阿 里巴 巴 全 球总部 _访客中心中国杭州 HANGZHOU CHIA7x24时在线的体验卫：AI驱动的AE智能巡检平台主会场演讲嘉宾梁慧前担任AliExpress泛导购&搜推测试负责，在户体验保障，有丰富的实战经验，建设AI户体验巡检，实现在常、专项、促相关场景下效、全发现各类体验问题，守护好AE户的体验。户体验：户体验定义及保障难点1解决案：AI助的户体验巡检体系2取得成果及未来展望3户体验：户体验定义及保障难点1户体验问题举例空坑语种&币种不一致素材色值不对倒计时展示不对文字重叠&被截断商品重复透出户体验定义户体验是指户在特定使场景下，为达成某标与产品进交互的全过程

2、的整体感受。特点：它涵盖前端界呈现、交互操作逻辑、数据反馈及时性与准确性、异常与错误处理机制等关键环节，其核评估标准是是否具备“好、易懂、稳定”的特性；它是衡量和持续优化产品可访问性、可性及户满意度的根本依据。户体验保障现状及难点现状难点解决案：AI助的户体验巡检体系2AI户体验巡检体系图思路：构建覆盖任务创建与执行、断言、应急的全流程巡检自动化体系。执行：通过任务调度、设备管理、客户端与用例执行模块实现高效任务分发与多端执行，支持AI规划、动线回放等智能执行方式。断言：结合图像与视频断言技术，提升结果判定准确性。应急：集成告警推送、自动应急与人工干预机制，确保高可用性。AI例执户动线回放AI

3、图像断AI例愈稳定性保障准确性保障成本控制体系缓存执弹性扩缩巡检覆盖：快、全、准巡检机制：持续可巡检成本：低AI户体验巡检体系核建设巡检应急SOPAI例执原理：融合视觉识别、推理决策与闭环控制的“观察-行动”循环操作流程：自动化截图 视觉技术截图解析 用例意图理解 大模型指令生成特点：高灵活性、强鲁棒性，提升覆盖效率、降低维护成本AI图像断原理：融合AI视觉与数据解析，实现图像、视频、数据多模态自动化检测与智能断言核心能力：支持像素、布局、语义级UI及数据自动化检测，覆盖设计规范、多语言、完整性、流程及链路等全链路质量断言特点：支持多场景问题检测，精准高效，具备强扩展性与智能化分析能力户动线回

4、放原理：基基于埋点数据构建用户动线并结合AI仿真还原，通过视频分析执行结果，实现自动化巡检验证流程：埋点清洗、聚合 用户路径分离 用户动线分析 自动化用例生成 巡检执行及录屏断言特点：动线还原、链路覆盖户动线回放-例成原理：基基于用户动线，结合页面路由知识库确定跳转步骤，依托校验点知识库生成对应断言，逐跳解析、精准匹配。而后转化步骤断言为自动化指令，动态参数由数据智造生成，结合动线特征配置前置条件流程：动线用例生成：步骤生成、断言生成 AIStep生成：执行前置条件生成、指令生成户动线回放-录屏断原理：对执行过程视频进行拆帧解析及去重，对关键帧进行校验点匹配，依据断言规则判断各校验点及整体用例

5、的通过与否，并输出详细的断言结果和依据流程：视频拆帧与去重 多模态内容解析 业务语义匹配 断言规则校验 结构化报告生成AI例愈原理：基于AI+规则双引擎，通过感知-分析-修复-验证四层闭环，实现失败任务智能归因与自愈流程：感知失败任务 分析日志与数据 匹配修复规则 创建修复方案、执行修复 验证修复有效性特点：支持用例/系统/人工三级自愈，具备多源分析、副本验证、知识沉淀与可扩展能力准确性保障分析：问题识别不准确主要说的是误报和漏报。误报是非业务变更、线上问题导致的执行失败而告警；漏报是有问题的场景用例执行仍然通过，未能将问题告警出来措施：对于确定性的失败问题，进行告警过滤并反馈平台小二进行处理

6、、优化，减少误报；对于虚假成功的漏报问题，通过接入评测能力、不断地优化Agent，提升准确断言能力，减少漏报稳定性保障背景：巡检任务执行的稳定性关键节点包含巡检包、设备、任务执行调度、巡检结果检测能力措施：巡检包，打包模版配置，巡检定制能力不丢失，裁剪无用debug功能 手机设备，健康检查，及时发现及时维护 任务执行调度，设备异常监控告警、停止分批，增强超时与异常容错机制 结果检测，模型调用失败重试，缓存执行，优化断言规则 提升准确率应急SOP巡检成本控制巡检成本控制-弹性扩