字节跳动首次公开A/B测试:已进行超过70万次实验,并向企业客户开放。
支持抖音、今日头条等产品成长和迭代的A/B测试工具,目前已被字节跳动投资给企业。
级市场。
在4月20日举行的火山引擎技术开放日活动上,字节跳动副总裁和算法与数据技术负责人杨震源首次透露了字节跳动如何使用A/B测试。
火山引擎是字节跳动旗下服务企业的智能科技品牌。
字节跳动的A/B测试工具也已通过火山引擎向企业客户开放。
A/B测试是指对不同策略进行对比实验,并根据结果选择最优方案。
A/B测试并不是互联网公司发明的,而是首先应用于医疗领域。
18世纪,一位英国医生将患有坏血病的水手随机分为六组,并采用不同的方法进行治疗,从而确定柠檬和橙子可以有效治疗坏血病。
这是人类最早有记录的A/B。
测试。
互联网时代,A/B测试被谷歌等公司广泛应用于产品开发和运营中。
一些研究人员也将A/B测试视为字节跳动快速增长的重要因素。
杨震源介绍,公司成立之初,今日头条就对战略建议进行A/B测试。
2017年,字节跳动建立了A/B测试平台,支持大规模的产品实验。
随后又陆续接入抖音、西瓜视频等全线业务,将A/B测试应用于产品命名、交互设计、推荐算法、用户等方面。
有关增长、广告优化和营销活动各个方面的决策。
最新数据显示,字节跳动每天同时进行数万次A/B测试,单日新增实验数量超过1万个,覆盖多个大大小小的业务。
随着公司的发展,这些数字不断扩大。
截至今年3月底,字节跳动已进行超过70万次A/B测试。
杨震源表示,字节跳动积累的技术能力和增长方式将通过火山引擎提供给企业客户。
火山引擎产品体系包括基础服务、技术中台、智能应用和行业解决方案。
字节跳动的视频编辑、特效、文字识别、图像识别、个性化推荐等技术能力都在火山引擎上为企业服务。
其中,A/B测试也是重要的数据产品之一,可以帮助企业提高决策质量,促进业务增长。
据相关产品负责人介绍,火山引擎A/B测试支持客户端、服务端、推送、网页、可视化建站等多种实验形式,功能齐全、自动化程度高。
操作非常简单,即使你不会编程。
人们可以轻松地进行实验,并且有丰富的实验报告可以智能地产生实验结论,使得决策链清晰完整。
火山发动机A/B测试的有效性得到了客户的认可。
以悟空租车为例。
该公司已通过 Volcano Engine 进行了 70 多次 A/B 测试。
其中约60%为阳性实验,提高了产品转化率约40%。
过去,分析需求审核数据需要一周的时间。
现在只需一天时间即可获得数据结论,更直观地量化需求价值,大大提高效率。
在积极致力于火山引擎“带货”的同时,杨震源表示A/B测试并不是万能的。
它也有很多限制,比如提高产品推荐的门槛、不推荐评分低的产品等。
如果做A/B测试,短期内交易量肯定会减少,但长期来看结论可能会逐渐反转。
这是一个长期影响和目标设定的问题。
另外,做A/B测试时还需要考虑独立的实验条件、统计置信度等问题。
杨震源表示,企业应充分认识A/B测试的优缺点,针对目标选择合适的评估方法。
比如,战略决策需要专家长期思考;对于很多细节决策,能做A/B测试就尽量做A/B测试,并注重定量分析的执行能力,真正做到数据驱动科学。
决策。