本文转载请联系码熊公众号。大家好，我是爱学习的小熊熊妹。之前分享过ABtest的基本原理，有朋友问：如果我不是只有两个版本的AB，而是三个版本的ABC来测试，还能用ABtest的方法吗？当然可以！只是改变了使用的统计方法。大功告成：方差分析，今天简单分享给大家。1.多版本和AB版本的区别如果只比较AB版本，那么在做假设检验时，原假设是：A版本均值/比率=B版本均值/比率。之后只要能用检验结果推翻零假设，就可以说明AB版本有不同的均值/比例，从而论证哪个版本更好。相应的统计数据也进行了相应的设计。当有多个版本的ABCDE时，问题会变得稍微复杂一些......因为很可能在一堆版本中，有些有差异，有些则没有。如果一个一个测试，就得比n次，费时费力。如何高效完成考试？2、多版本测试的基本思路可以采用两步法：第一步：先做方差分析，检查这些版本的均值是否相等。此时零假设为：A版=B版=C版=D版……总之，假设它们都是一样的。如果假设没有被推翻，那就说明大家的平均值是一样的，根本不需要做第二步。如果能翻盘，那就看两人的差距了。第二步：假设第一步检验推翻了原假设，进行第二步检验。第二步，可以使用fisherLSD方法比较总体均值。今天先不说第二步检测，把第一步说清楚。3.什么是方差分析？方差分析是用来检验多个版本（3个以上）对应的多组数据的均值是否存在差异的方法。方差分析的统计原理稍微复杂一些，朋友们可以简单的记为：用一个F统计量来衡量每组数据中组间差异与组内差异的比值。当组间差异较大，组内差异较小时，F统计量变得很大，说明这些样本一定来自不同的个体，所以均值不可能相等，推翻null假设（如下图所示）四．方差分析如何做ANOVA分为三步：第一步：清除要比较的版本第二步：清除要比较的数据指标第三步：收集不同版本的测试数据步骤四：计算F统计量值和perform我们来看一个假设检验的简单例子：给产品三个版本的ABC，测试不同用户的每日留存时间。每个版本随机抽取6个用户进行测试，数据如下：Step1：确认对比ABC版本Step2：确认对比指标为：三个版本下，每日用户留存时间排行No.三步：筛选用户、发布版本、收集测试数据（这里说起来简单，其实涉及到相当多的开发工作，后面会详细讲）第四步：计算。这种只考虑“版本”影响因素的实验称为：单因素方差分析，可以用excel求解（如下图），数据如下图：那么，可以认为三组测试结果的均值不同，可以做第二步检查。想偷懒的同学可以直接认为C版比较差先踢出去。5.方差分析的展开小伙伴们掌握了方差分析的思路后，可以进行大量的比较。实际上，这种区分N组，测试版本/方法/属性对某个指标的影响的方法，是数据实验的基本方法。通过不断的实验，可以测试新版本/新方法的有效性。同时，方差分析还有更进一步的应用。比如在这个例子中，很可能不同的用户本身就有行为上的差异。需要去除用户行为的个体差异（比如让一个人体验三个版本）或者提前找到一些影响结果的因素（比如是否是重度用户）然后比较相似的人组成一个群体。这些都是进一步设计实验的考虑。或者，不止一个因素影响了结果。除了版本的影响，用户的长期使用与运营动作和促销活动有很大关系。因此，可能需要分析多个因素，此时需要使用更复杂的方法。
