腾讯视频复杂场景实验分析方法和实验质量问题揭秘.pdf

1、2023 DataFunSummit实验质量问题和进阶实验分析方法揭秘演讲人：潘洁腾讯数科团队leader目录实验质量问题揭秘Contents进阶实验分析揭秘01 实验质量问题揭秘实验分析中会遇到的质量问题问题2：多个指标变化方向无法互相解释？问题1：实验用户数不平（1:1抽样），实验结论是否置信？*数据已脱敏，非真实数据实验链路和实验质量的关系SRM在实验中的重要性u 实验评估的基础是两个群体样本的均衡性u SRM（sample ratio mismatch）：流量比例不均衡，流量比例是指实验组和对照组之间的流量比值。当出现SRM问题的时候，实验结果不可信u 一般采用卡方检验（Chi-Squ

2、ared Test）对实验组的样本量是否均衡进行监控。当计算的P值小于阈值时，判定样本量不均衡，即出现了SRM问题实验用户数不平，实验结论正向？实验用户数不平（SRM），出现实验质量问题。追查原因，发现低版本用户无法展现短视频内容，只展现广告，未进入实验组用户过滤掉低版本用户实验结论：负向*数据已脱敏，非真实数据SRM问题的定位和解决实验分流引入 分流不均匀 用户ID改变 实验不正交 互斥实验相互干扰 桶号上报错误实验执行引入 实验配置：实验开始时间不一致、实验配置标签不一致 策略改变产品性能：页面加载速度、播放器起播速度 策略引入上报问题：上报时机、上报错误日志处理引入 异常用户剔除 策略导

3、致延迟上报 错误join导致数据缺失 数据链路问题导致数据丢失实验分析引入 实验分析时间不一致 用户圈选方案 指标计算方法实验干扰引入 放量比例不一致 实验期间终止某个版本 绑定白名单SRM产生原因SRM追查方法数据质量问题的定位与解决u 数据质量指实验计算的实验指标数据是否准确u 数据质量会直接影响实验结论的准确性n1 发现问题：多个指标变化方向无法互相解释？n2 定位问题：以上为某场景的播放数据，是按照当前场景事件（如播放开始、播放结束）上报的实验id作为场景指标计算的过滤条件，猜测是否实验id上报有丢失？n3 解决问题：使用多个事件上报圈定实验用户数，计算实验用户在策略生效场景指标数据（

4、最大程度降低数据上报丢失对实验质量的影响）n4 实现路径指标变化方向异常n其他发现问题方法：指标基准值异常、监控指标异常等n定位问题方法：多维下钻、时序排查等n解决问题方法：1）如果个别维度出现数据质量问题，可考虑剔除后分析2）如果是日志处理环节引入数据质量问题，可修复日志，或采用替代指标3）采用更合理的指标计算方法避免数据质量问题*数据已脱敏，非真实数据02 进阶实验分析揭秘为什么要做进阶实验分析？u如果简单的只根据实验目标指标（3-5个）变化给出结论，决策风险大，且容易错失发现业务洞察的机会u实验归因分析：打开黑箱的工作做决策（正向/负向/持平）找方向实验策略（产品、算法、内容）目标指标显

5、著提升/下降实验正向/负向过程黑箱实验目的定制贴合业务场景的实验分析方法过程黑箱用户维度场景维度内容维度指标体系什么样的用户？在哪些场景？对什么内容？有什么动作？用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析案例1：首页改版实验对照组实验组首页页面1页面2模块1模块2模块3首页页面1页面2模块1模块2-内容1模块3模块2-内容2案例1：首页改版实验全局目标指标 人均播放时长 小幅上升 人均播放次数 小幅上升 人均收入小幅上升实验结论正向业务逻辑是否可验证

6、？改动模块模块正向改动页面正向全局正向下一步优化的方向？*数据已脱敏，非真实数据案例1：首页改版实验过程黑箱用户维度场景维度内容维度指标体系什么样的用户？在哪些场景？对什么内容？有什么动作？用户漏斗分析用户分群分析场景漏斗分析用户路径分析内容漏斗分析内容类型分析护栏指标目标指标其他分析指标用户行为漏斗转化指标分类多维下钻归因分析用户行为转化分析多维下钻归因分析用户行为转化分析案例1：首页改版实验验证业务逻辑分析方法定制分析优化建议场景漏斗拆解分析（验证业务逻辑）首页人均播放时长 大幅下降人均播放次数 大幅下降其他页面播放指标正向 人均播放时长 小幅上升 人均播放次数 小幅上升全局 改动页面播放