A4--于晓明--快手商业化广告推荐CICD流程中AI的探索与实践.pdf

1、快手商业化广告推荐CICD流程中AI的探索与实践于晓明快手商业化广告推荐引擎质量负责人于晓明快手 资深测试开发工程师21年加入快手，目前在商业化质量团队，负责快手内外循环、联盟、搜索等业务的商业化推荐引擎质量保障工作目录CONTENTS商业化引擎业务介绍0102 CICD现状介绍AI的探索与实践03总结与规划04PART 01商业化引擎业务介绍业务现状核心价值核心价值ToC承接用户99%+的商业化流量，ToB承接广告主所有的物料，商业化99%+收入出口核心链路核心链路-广告在线检索链路广告在线检索链路实时处理亿级物料，针对单个流量的检索可以理解为一个漏斗，从检索到曝光每一层对应的广告数都在逐层

2、递减，最终选择一个广告进行曝光业务痛点业务痛点服务数量庞大，数据种类多且量级巨大，承接内外流量位置多，服务上线、配置变更、实验变更频繁，研发每日CR变更频繁，研发测试比高，同时引擎处于中间模块，日常进行上下游oncall配合占用人力比较高PART 02CICD现状介绍CICD全景CICD线下灰度校验有diff校验数据降级无diff校验覆盖率检测静态代码检测日常线上小流量班车服务升级/重启模型升级配置变更实验调整CICD主要场景CICD痛点分析CI Oncall频繁每日几百位工程+算法同学会对100+服务进行大量的迭代，CI会进行大量的更新和校验阻断操作，这个过程中会存在大量的oncall和排查

3、动作CR问题感知能力弱算法同学更关注于策略和模型能力，C+编码能力相对不足，当发布过程出现问题的时候工程Oncall同学只能被动排查问题排查比较被动每日工程、算法、产品、运营同学会进行大量的服务上线、更新、重启、业务策略调整、实验和配置等的变更，问题出现后各方人员只能被动排查止损010302智能助手智能CR变更阻断PART 03AI的探索与实践AI实践 智能助手 背景数据分析需求数据问题oncall 引擎处于中间环节，对接的上下游模块和人员数量很大 上下游研发和QA对于引擎广告的业务和架构不了解 不同上下游对于引擎的诉求不同，并且整体链路很复杂，排查成本比较高怎么能更好的让上下游自主排查并释放

4、oncall人力？需求数据上下游联调工具内部调试工具AI实践 智能助手 背景数据分析灰度数据问题oncall 工具oncall人员有的时候需要应对每天几十次的oncall问答 研发人员对于拦截的问题重复度50%以上 新人研发人员对于工具的运行机制存在盲区怎么能更好的让研发认识工具并释放oncall人力？AI实践 智能助手 背景数据分析结果分布失败原因分布diff数据问题oncall 工具oncall人员每天需要应对大量的oncall问答，其中重复问题占比很高 Diff涉及服务数量几十个，不同服务间的业务逻辑差异比较大，很多研发对于自己代码能带来的diff差异评估不全 新人研发人员对于工具的运行

5、机制存在盲区双周数据 双周diff运行次数在4000次左右 双周成功次数在3000次左右 双周失败次数在1000次左右，失败率在25%左右怎么能更好的让研发认识工具并释放oncall人力？AI实践 智能助手 整体分析 研发测试比高 人员变动频繁，一直频繁有研发新人入职 研发对于工具机制不了解，出现拦截之后无法很好理解原因 工具Owner运维投入过高之后会严重影响日常工作体验和迭代 上下游联调、排查依赖重，人力占用大人 对于使用方来说工具本身设计复杂，理解成本高，需要有高效理解的渠道 对于维护人员来说，急需一个方式可以更好的释放人力来继续优化工具 工具的问题不快速解决会严重影响业务迭代和算法实验

6、效率工具AI实践 智能助手01针对CICD流程中的工具和实现机制进行学习和持续补充0203智能问答智能检测智能工作流针对卡点的原因给出智能分析以及有效解决办法的建议工具使用收口，构建常用工作流，进行日常工作提效04智能搜索利用模型基础能力，对日常知识的搜索以及代码的书写进行辅助提效AI实践 智能助手 方案设计核心能力核心能力以消息号为载体，开发引擎业务AI Agent并接入消息号，实现智能客服能力，同时接入热线平台提供人工客服能力，实现智能客服和人工客服的结合，建设大模型oncall客服能力，融入业务交互的各个阶段中，如代码准入、联调测试过程、准入、卡点、问题排查等，不仅可以提高整体的交付效率