A4--王万辉--搜推效果分析洞察实践.pdf

1、王万辉(柒谨)支付宝 测试开发专家毕业后一直在阿里系工作，目前在芝麻信用质量团队，主要负责搜推技术质量保证和效果平台开发工作。曾负责过多个高风险业务线和相关质量平台开发工作。目录CONTENTS业务介绍和痛点0102解决思路和方案架构设计和演进03总结和启发04PART1-业务介绍搜索/推荐系统的业务形态？业务介绍-业务形态搜索业务形态推荐业务形态通过识别用户搜索意图，精准匹配供给，提高用户体验和转化通过刻画用户兴趣，结合推荐策略，提升用户决策效率和粘性零售电商新闻资讯影音娱乐投资理财社交话题业务介绍-系统架构和业务痛点复杂且黑盒链路复杂：包括召回、排序、策略，涉及工程、数据、模型等，相关黑盒

2、化协同多：算法/研发/产运/数据效果难解释传统规则类监控无法发现问题人肉标注成本大，耗时久线上切流验证对用户有损，周期长迭代快速且场景多调试和排查困难，通常需要半天级+迭代周期长，人力成本高，效率低搜推业务属于技术驱动，迭代频繁。支付宝内有大量搜推业务，既有差异点又有共同点分析工具开发和迭代成本高，迭代周期天级天级，新场景开开周期半月级半月级PART2-解决方案整体解决思路复杂且黑盒快速迭代和接入效果难解释010203白盒化+可视化一站式分析基于大模型做预测和解释可编排的低代码平台架构提升调试和分析效率提升分析效果和实验效率提升迭代和接入效率问题：方案：收益：PART2.1-复杂且黑盒解决思路

3、和方案01.动线拆解召回：从哪个策略召回的？排序：排序模型打分的情况啥？特征：用户和商品特征是啥？链路：商品在各阶段的上下文是啥？链路：整体请求的链路是啥？是什么？搜索详情 推荐详情为什么？链路透视 生命周期 特征分析 user分析 Item分析怎么样？怎么样？对比分析 流量刻画 行为分析效果效果：效率半天级-分钟级数据处理：结构化日志SLS输出 实时特征离线特征特征聚合离线指标业务数据数据处理OLAP加速SLS日志日志服务视图服务blink各环节关注的问题：03.产品表达02.数据处理PART2.2-效果问题难解释AI分析案例1-相关性问题背景1.线上离线数据采样2.小二批量任务标注3.异常

4、case分析如何发现?搜搜索索结结果果不不符符合合预预期期？1.标注人员需要有很强的专业知识，如显卡型号是啥2.人力成本极高，效率慢局限人工标注AI分析案例1-可行性分析判定大模型判定大模型LLM(性能性能/准确率准确率)解释大模型解释大模型LLM(低频低频/业务规则业务规则)人工标注模型微调线上部署模型优化dpR1知识挂载prompt人工打标判定大模型需要高频调用，且对准确率要求较高判定大模型需要高频调用，且对准确率要求较高-毫秒响应毫秒响应,95%解释大模型低频调用，需要辅助专家经验和业务规则解释大模型低频调用，需要辅助专家经验和业务规则AI分析案例1-工程链路AI挖掘任务挖掘任务任务：根

5、据业务策略每天采样2000线上流量链路说明链路说明采样：通过延迟消息队列，控制QPS调用通过流程引擎编排场景化分析智能体效果：使用场景:线上BADCASE挖掘，算法迭代自回归效率提升：周级-小时级AI分析案例2-用户行为预测背景算法：我新加了某个特征？需要验证用户的点击效果？常规做法常规做法创建实验实验切流效果观测重新优化依赖用户的行为反馈？1.对切流用户体验有损2.实验周期过长，导致业务迭代效率低局限能否基于大模型的推理能力提前预测用户的行为？提升实验效率。思路AI分析案例2-可行性分析模型调试效果智能体构建-数据处理流程PART2.3-快速迭代的方案方案设计的几个思路适用场景：高度个性化的

6、业务逻辑只服务少量业务02-平台化03-组件化实现逻辑前端每个页面实现具象的逻辑后端按业务域区分适用场景：高度平台化的业务如中台类业务实现逻辑：前端设计独立的页面，通过一个个菜单区分后端实现配套的接口01-个性化优劣势：优势：每个业务可以定制自己的逻辑不足：前后端开发成本高优劣势：优势：无需前后端开发不足：业务有差异，接入改造成本高或无法支持实现逻辑前端组件化设计，约定协议后端开放给业务编排个性化逻辑适用场景：即有通用性，又有较大的个性化差异优劣势：优势：可灵活支撑各业务组件