洞察AB实验的地区差异基于腾讯游戏海外实验的经验.pdf

1、DataFunSummit#2023洞察AB实验的地区差异基于腾讯游戏海外实验的经验周俊龙腾讯游戏IEGG资深数据科学家01游戏AB实验地区差异02异质性效果检验与拆分03异质性效果理解与预测04总结与展望目录 CONTENTDataFunSummit#202301游戏AB实验地区差异现状实验效果的地区差异实验效果的地区差异常AB实验场景，我们往往关注整体的实验效果：A组是否B组好。实验效果的地区差异实验效果的地区差异常AB实验场景，我们往往关注整体的实验效果：A组是否B组好。在海外AB实验中，我们经常会对多个地区进实验；或者对于同个实验，观测不同地区的效果。通常会发现，有些地区的效果好，有些

2、地区的效果差。实验效果的地区差异实验效果的地区差异常AB实验场景，我们往往关注整体的实验效果：A组是否B组好。在海外AB实验中，我们经常会对多个地区进实验；或者对于同个实验，观测不同地区的效果。通常会发现，有些地区的效果好，有些地区的效果差。实验效果的地区差异实验效果的地区差异海外实验的发现：8?/?108?/?10都有异质性，如何去理解这个差异？地区实验效果均为AB好，效果的不同。有些地区AB好，有些地区BA好。实验效果的地区差异实验效果的地区差异常见的处理法：基于地区维度下钻。地区下钻分析地区异质性实验效果检验分析原理直接对地区维度下钻，对不同的地区分别计算实验效果。利拆解的法，利微观和宏

3、观的变量来拆解实验效果。优势1.?可以对于给定地区得到处理效应偏估计。2.?操作起来便1.?可以帮助我们来理解地区间差异的来源帮助我们来理解地区间差异的来源，更好理解地区、户特性和实验本。2.?可以帮助我们将实验结果外推到其他地区外推到其他地区。进对其他地区提供指导意见。劣势1.?缺乏泛化能缺乏泛化能，即A地区的结果助于我们了解B地区。2.?只能了解地区间存在差异，只能了解地区间存在差异，法了解差异性的来源。如，差异是否来于噪声？还是来于些我们可以观测到的变量？1.?分析步骤较多2.?需要研究者对实验场景有定了解。DataFunSummit#202302异质性效果检验与拆分检测检测关键问题：明

4、确效果差异（异质性）是真实存在还是统计噪声。检测检测关键问题：明确效果差异（异质性）是真实存在还是统计噪声。使荟萃分析（meta?analysis）来检测地区异质性荟萃分析将每个地区视作个单独的实验，由此检查差异是统计显著还是噪声。拒绝零假设?-?地区间实验效果的差异是显著存在的，简单的误差。拆解拆解般AB实验关注平均处理效应（ATE）如我们关注的Y是次留存；我们想知道实验对次留存的提升效果。?拆解拆解般AB实验关注平均处理效应（ATE）如我们关注的Y是次留存；我们想知道实验对次留存的提升效果。基于微观特征，X?可以得到条件处理效应（CATE）：即对于这特征的户，具体处理效应的。拆解拆解般AB

5、实验关注平均处理效应（ATE）如我们关注的Y是次留存；我们想知道实验对次留存的提升效果。基于微观特征，X?可以得到条件处理效应（CATE）：即对于这特征的户，具体处理效应的。?在游戏场景中，X可以包括玩家的历史在线时长、单在线时长、等。CATE可以通过机器学习建模，包括meta-learner模式：X-learner,?T-learner,?.?拆解拆解类似定义对于地区c的处理效应。和地区c的条件处理效应拆解拆解类似定义对于地区c的处理效应。和地区c的条件处理效应如果不存在异质性，有：?和?拆解拆解类似定义对于地区c的处理效应。和地区c的条件处理效应如果不存在异质性，有：?和?如果发现了些差异

6、，即对于两个地点存在两种可能：(1)?背后的条件处理效应不同(2)?分布不同拆解拆解进步定义：其中：即利c以外的地区得到的CATE，在c地区X的分布上取期望。拆解拆解进步定义：其中：即利c以外的地区得到的CATE，在c地区X的分布上取期望。如果差异是分布差异导致的，那么?否则，我们知道在CATE上，地区间就不致，那么这个差异可能会被些宏观变量解释，即DataFunSummit#202303异质性效果理解与预测理解理解拆解出来之后，我们知道异质性的来源：地区间是存在根本的不致，