不同类型实验在搜索场景中的使用.pdf

1、DataFunSummit#2023不同类型实验在不同类型实验在搜索场景中的使搜索场景中的使王东星 腾讯 数据产品经理我简介我简介 腾讯 PCG 搜索 10+年数据产品 从 0 到 1 搭建搜狗搜索实验平台0101ABAB实验简介实验简介简单介绍AB实验及流程0202搜索实验常见问题搜索实验常见问题搜索实验常见的问题及解决法0303各类型搜索实验介绍各类型搜索实验介绍搜索常的种类型实验介绍：普通AB、词表实验、diffab、interleaving0404Q Q&A A互相交流录录 CONTENTCONTENTDataFunSummit#20230101ABAB实验简介实验简介ABAB实验简介

2、实验简介 其他名字：双盲测试、A/B?testing、AB测试、随机分组实验 基本思想：取出部分（降低风险降低风险）流量，完全随机地分给对照组和实验组，并通过统计学法得出结论（准确量化准确量化）ABAB实验简介实验简介分流Hash取模对照组实验组盘流量盘流量实验设计实验设计实验运实验运策略A策略B数据数据&结论结论ABAB实验简介实验简介 分流分流盘流量盘流量单层单层多层多层实验层实验层1 1实验层实验层2 2流量分层流量分层流量正交流量正交理论理论依据：依据：Overlapping?Experiment?Infrastructure:?More,?Better,?Faster?Experim

3、entationOverlapping?Experiment?Infrastructure:?More,?Better,?Faster?ExperimentationABAB实验简介实验简介 流程流程 提升点击率 提升订单转化率 提升GMV 提升户满意度明确标明确标提出假设提出假设创建实验创建实验运实验运实验分析实验分析实验最终决策最终决策 规划实验 实验平台创建 策略开发 实验上线 空转/AA回溯 运7-14天 结论是否符合预期 异常数据排查 复杂的实验，多维度分析 按钮红绿CTR 左图右右图左CTR A案B案的订单转化率 实验报告 Launch?Review 推全上线DataFunSumm

4、it#20230202各类型搜索实验介绍各类型搜索实验介绍各类型搜索实验介绍各类型搜索实验介绍1.Query：查询词，就是我们在搜索栏输的词，例如王者荣耀下载2.意图判断：对Query的的判断，如王者荣耀下载就是游戏意图3.结果页：搜索结果页，通常由10个卡组成，每个卡有对应的卡ID和位置等信息4.QV：Query访问(查询)次数5.卡影响：卡在搜索结果页中的例6.策略影响：策略在盘中的效例7.卡位置：卡在搜索结果页中的排序位置各类型搜索实验介绍各类型搜索实验介绍实验场景实验场景特点特点实验类型实验类型搜索结果页改版(整体样式、字号调整、圆调整)影响，全量普通AB实验卡样式改版(UI、排版、数

5、据)影响，部分流量词表实验+限定卡ID策略控制卡内容展现(元素)影响，部分流量Diffab实验算法控制排序影响较，部分流量Interleaving实验各类型搜索实验介绍各类型搜索实验介绍盘流量盘流量实验流量实验流量实验分组实验分组普通普通ABABinterleavinginterleaving词表实验词表实验diffabdiffab实验户实验户实验数据实验数据与搜索业务强耦合，涉及流量打平、缓存、命中、与搜索业务强耦合，涉及流量打平、缓存、命中、diffdiff判断、上报模块等判断、上报模块等SDKSDK能出卡的词表能出卡的词表搜索实验搜索实验 普通普通ABAB 盘选择流量，均衡分配普通普通A

6、BAB对照组对照组实验组实验组卡分隔式优化卡分隔式优化说明：展图为设计稿，仅做展说明：展图为设计稿，仅做展搜索实验搜索实验 词表实验词表实验 配置词表包+卡ID，基于词表分流和统计数据对照组对照组实验组实验组普通普通ABAB词表实验词表实验能出卡的词表能出卡的词表搜索实验搜索实验 diffabdiffab 影响、解决收益稀释普通普通ABABdiffabdiffab对照组对照组实验组实验组搜索实验搜索实验 interleavinginterleaving普通普通ABABinterleavinginterleaving