ABTesting在软件工程领域是一个耳熟能详的词，大家都知道ABTest的重要性。当产品经理提出的要求不合适（太难做）的时候，程序员总是有一种os心态。你怎么知道客户想要什么？不就是想想吗？这时，我们可能会提出另一种方法。并且让他（她）做一个ABTest来验证哪种方法更好。然而，你可能不知道，要做一个成功的ABTest实验，背后的成本是非常巨大的。首先，你要做大量的分析，了解用户的习惯和需求，然后做出合理的假设，确定变化。然后，需要工程部的协助，进行ABTest，收集相关数据。有了数据后，产品经理需要根据假设建立模型，验证假设，不断迭代，最终得出结论。这个成本在B2B中尤其巨大，而且影响因素很多，包括采样率、用户特征等，这也让很多B2B领域的产品经理望而却步。那么，B2B领域要不要做ABTest呢？本期大题将带您一起探讨这个问题！什么是AB测试？在开始问大问题之前，先跟大家分享一下什么是ABTest，让我们在后续的讨论中有更多的共鸣。ABTest是一种面向统计的测试方法。在一个页面中，针对某个场景做出两个或多个假设，同时测试不同的用户，观察用户的反应。ABTest通常包括以下过程：首先，在进行ABTest之前，产品经理需要对场景进行调研，建立假设。然后，从假设中导出变量以确定如何进行实验。这些前置步骤完成后，就可以进入真正的测试阶段，将两个假设落实到产品中，发布给不同的人群使用，以收集数据。数据。最后，产品经理需要对这些反馈数据进行分析，得出实验结果，建立解决方案。我们用几个真实的案例来描述AB测试是如何进行的。真实案例：表单表单设计第一个案例是某公司云计算产品相关的报价生成系统。在设计阶段，产品经理调研了自家产品当前用户的报价习惯和流量，总结了A报价和B报价的设计假设。其中A版为详细报价，涉及到详细的配置和规格。设计给人一种专业的感觉，没有过多的点缀。B版是一个看起来更平易近人的报价单，需要填写的信息相对较少。这两种设计分别代表两种假设。第一个假设是详细的报价可以突出专业性，让用户相信专业性并愿意填写报价。另一种假设简单地填写表单可以让用户更愿意填写。在变量方面，它包括填写的难度、美观度、提交按钮的可见性等等。经过假设和变量控制，最终实现了上述形式的两个版本。产品经理同时启动并收集来自不同用户的数据。经过不断的观察分析，最终以FormB胜出，流量差距高达385%。证明平易近人的表单设计更受用户欢迎。真实案例：DHL折扣广告第二个案例是国际知名快递公司DHL的折扣广告。产品经理在设计广告时设定了两个假设。女性广告代言人更能吸引大众，男性广告代言人更能吸引大众。所以，这里的变量很明显，角色的性别对流量的影响。上线测试后发现，女性广告代言人更具魅力，转化率比男性代言人高出8%。说明女性代言人对大众更亲切，更愿意点击购买。是不是很有趣？B2C领域的经验能否直接应用到B2B领域？答案是否定的，两个领域的特点相差太大。如前所述，成功的AB测试可能会经历几个阶段。包括研究、提出假设、建立和进行实验、评估结果和检验假设。在实验过程中，实验结果通常有两种可能性。第一是实验结果有很强的统计论证证明假设的正确性，第二是实验结果没有足够的证据证明假设（这在ABTest中很常见。发生）。如果你的实验每一个假设都有强有力的证据支持，而且实验过程很快，那么这样的ABTest会非常高效。B2C场景下，相对容易形成假设，因为数据量大，收集到的数据具有统计显着性，更便于产品经理形成假设，因此做ABTest相对效率更高.但是，在B2B世界中情况并非如此。由于B2B客户面向企业，采样率远低于C端用户，这也导致B2B领域的统计特征较弱，形成假设相对困难。它不起作用的另一个原因是交通。在B2C领域，流量和收入往往是成正比的，更多的流量可以带来更多的收入。因此，在进行变量控制时，流量总会被随机分配给一个或几个变量。但是，在B2B领域，流量与收入并不完全成正比。访问B2B网站的用户很大一部分可能是游客，他们可能通过广告或搜索研究进入网页。他们不花钱，因为他们可能只是公司员工的一员，没有购买的权力。这让很多在B2C领域已经很熟悉的决策模型变得毫无用处。ABTest在B2B领域的挑战现在B2B领域的产品经理面临ABTest的三大挑战：难以制定最好的KPI指标需要投入大量资源进行ABTest，需要很长时间才能得到结果1.难点制定最佳KPI指标在B2B场景下，我们关注并希望达到的结果往往是营收。理想情况下，我们进行实验时，收入应该是主要的考虑因素。在实际场景中，很多B2B产品经理会将目标细化为潜在客户（如中长尾客户）转化率、渠道机会（如客户合作等）、市场影响收入（比如产品市场份额）目标，在SaaS中，可能会以LTV（totallifetimevalue）作为主要衡量标准。如果您无法衡量这些指标，则意味着您无法对其进行优化。市面上的ABTest工具大多是针对B2C场景的，也就是说你不能直接套用这些工具，因为它们使用的衡量指标无法满足B2B场景。2.进行ABTest需要大量的资源。假设我们要做性价比最高的ABTest实验，那么我们至少需要UED相关的设计师、前端开发工程师和数据分析工程师来投入这个实验。投入的时间并不短（一两周），因为一个成功的实验必须经过长时间的观察，才能获得有效样本数，避免陷入“错误的测试”。在B2C领域，测试时间相对较短，因为样本数量很容易满足，而且样本本身基本符合正态分布。但在B2B领域，测试时间会相对延长。除了样本数量，另一个重要的因素就是样本偏差，因为在B2B领域，大部分的流量可能是访问者，只有一小部分人才能成为真正的盈利用户。因此，同样的人力资源需要在B2B试验场停留的时间更长，分析的数据更复杂，也可能毫无意义。3、出结果时间长2中提到，在B2B领域，由于样本不足和样本偏差，整体实验时间会被拉长。然而，它可能需要更多。一般来说，ABTest是一个周期性迭代的过程，因为我们需要根据实验结果来修正假设或者重新定义变量，这会让本需要很长时间的实验变得更糟。因此，获得结果的时间会比在B2C领域更长。B2B领域还需要做ABTest吗？看到上面这么多的挑战，B2B领域还需要做ABTest吗？我的回答是肯定的。因为ABTest能带来的好处也是巨大的。我认为的优势：1.ABTest可以帮助B2B产品获得更好的业务反馈虽然B2B产品在用户体系上与B2C产品完全不同（客户不一定是用户），但是我们仍然可以很好的服务用户。影响客户间接增加收入的方式。因此，如何从ABTest中获取用户反馈来改进产品是非常重要的。2、ABTest可以帮助B2B产品增加流量。虽然流量在B2B产品中并不是主要衡量指标（因为不一定与收入成正比），但其边际收益可以间接达到收入的目的。例如，上述市场影响收入、渠道机会等。因此，通过ABTest，我们可以更好的改进产品来增加流量，实现收益。3、ABTest可以帮助B2B产品更好的开拓市场。有时候，我们有很多新的需求和想法，但不知道市场能不能接受。这个时候ABTest的真正价值才能发挥出来。4、ABTest可以帮助B2B产品更好的提升用户体验前文提到，虽然在B2B场景下，用户和客户不是同一个人，但是有时候我们通过服务好用户，可以进一步影响客户的决策。例如，在Dataworks产品中，良好的编辑体验和产品流程可以提高用户的工作效率，间接影响客户对Dataworks产品的评价。5.ABTest可以帮助B2B产品逐步迭代产品。通过ABTest了解用户对新功能或新版本的反馈，进而改进产品优化迭代。虽然ABTest的成本在B2B领域是比较高的，但是它的优势是无可替代的！B2B领域如何正确做ABTest？以下是在B2B领域进行AB测试的一些技巧。1.重点应该放在大的变化上而不是小的细节为什么要关注大的变化？一般来说，ABTest是一种统计实验方法，和其他统计实验一样，其可靠性取决于样本的数量。什么是足够多的样本取决于以下三个因素：基本转化率置信区间所要达到的转化率的提升一般我们在做ABTest的时候都使用95%作为置信区间，这也意味着有5%的时间发生异常。这也意味着当我们有足够大的样本量时，异常不太可能发生。根据一份报告，如果我们想在2%的基础转化率下提高10%的转化率，那么我们至少需要39488个样本才能达到95%的置信区间；如果概率增加50%，则只需要1871个样本即可达到95%的置信区间。这是样本数量的21倍之差。因此，较大的转换率增加可以减少所需的样本数。由于这些原因，B2B产品应该考虑在一些大的变化上做ABTest，而不是一些小的变化，比如改变按钮的颜色，或者添加评论文字等。比如上图，根据AB测试，B版转化率提升了整整1.07倍。像这样的测试基本上不需要太多的样本就可以达到统计显着性。2、从个性化入手“大变革”的重点之一，就是从买家的个性化定制入手。大多数B2B网站应该为不同的买家提供某种程度的定制。一般来说，ABTest的可变考虑可以从终端客户、领域或商业模式入手。例如，在专业软件网站中使用了个性化实验。在实验中，他们使用并考虑了三个主要领域的客户：医疗、教育和金融。在分桶方面，50%的用户被分配到个性化页面，另外50%的用户保持原来的标准页面。最后实验发现，通过个性化推荐，业务增长了7%。个性化推荐首页，点击率提升30%。个性化推荐页面PV周期同比提升10%，业绩提升4%。定制的好处是不言而喻的。3、用对的工具做对的事在选择工具的时候，我们要正视一点，我们做的是B2B的生意，而不是B2C的生意。如果还按照B2C的方式去做测试，那是徒劳的。现在市面上的ABTest产品，大部分都是针对B2C场景的。虽然测试方法和理论没有区别，但是在实验变量和测量实验结果的方法上有很大的不同。造成这种情况的主要原因是：实验样本数量的差异、实验周期长短的差异、对实验结果解释的差异。在B2B中，由于样本数量的先天劣势，我们在做事情的时候会遇到阻碍。为了弥补短版，我们应该选择合适的工具，可以为我们提供合适的算法来解释实验结果，比如一些不需要大量样本的统计方法。此外，它可以为B2B场景提供更多的实验变量。结语虽然ABTest在B2B场景中充满了挑战，但我觉得还是有必要去做，因为它带来的好处是其他方法无法替代的。为了更从容地在B2B场景下进行ABTest，我们应该着眼于重大变革，让测试结果更有意义，节约成本。此外，还要从个性化入手，为不同的客户“定制”他的网页。最后，我们应该选择合适的ABTest工具。原文链接本文为阿里云原创内容，未经许可不得转载。
