1。前言在线AB实验已经成为当今互联网公司不可或缺的数据驱动工具。很多公司用自己的产品做AB实验作为数据驱动的试金石。Data=>insight=>optimization，不断重复循环寻找最优解，寻找成长之路。AB有一句经典的话：大胆假设，谨慎求证。本次分享从以下几个方面介绍：数据驱动基础架构指标选择数据分析2.数据驱动AB实验不是万能的，没有AB实验也不是万万不能，但是有了AB实验，可以少走很多弯路.2.1AB实验和数据驱动AB实验阶段对应数据驱动的不同阶段，从最基本的设计执行分析阶段到绝大多数需要AB验证的变更，从简单到复杂，从少量实验到大量规模实验，完全对应的数据从“爬、走、跑、飞”四个阶段驱动，关系是递进的。2.1.1设计执行分析阶段设计执行分析阶段主要包括：数据检测设置和数据科学能力建设。对AB实验进行多次实验，从实验的设计、指标的定义、实验的开启、实验结果的分析，找到一些成功的实验案例，将有助于我们进入下一阶段。2.1.2标准化指标阶段标准化指标阶段主要是：进行少量实验，定义标准指标，然后开始更多的实验。AB实验开始跑更复杂的case来不断验证数据的可行性，同时通过跑AA实验来验证平台潜在的问题，能够检测出样本比例的偏差。2.1.3大面积实验AB实验阶段从前期的标准化指标来看，已经可以进行大量的实验，各项指标逐渐相对成熟。每个实验权衡多个指标，然后在一个具有最多新特性和变化的应用实验中使用AB实验。2.1.4大部分变更需要AB验证阶段几乎所有的变更都需要通过AB实验来验证，并且大部分实验都可以在没有数据科学家协助的情况下独立分析和操作。同时，通过对以往实验的分析，也可以不断更新AB实验的有效性和最佳实践。2.2数据驱动条件2.2.1实验标准化数据决策必须由一套标准化的事物来规范，实验标准化也是AB数据驱动的必要条件。那么什么是AB实验的标准化呢？AB实验需要注意??辛普森悖论、幸存者偏差、选择偏差等，注意事项都是从碰撞因子得出的，简单来说就是“同时受到两个或多个变量影响的变量”。可以在Google中找到详细信息以进行更深入的了解。2.2.2实验结果的可信度和数字一样容易，但可靠的数字需要努力。开始实验容易，实验报告中容易有数字，这些数字的可信度，这些数字的可靠性更重要，需要的时间更长。大量的实验可能只有一小部分实验，比如微软，大约30%的结果是肯定的，最后才能发布到整个应用。例如
