字节跳动推出 A/B 测试工具,已支持 70 多万场实验

2021/4/20 17:42:27 来源:网易科技 作者:一橙 责编:骑士

4 月 20 日消息,字节跳动副总裁、算法和数据技术负责人杨震原表示,火山引擎是字节跳动旗下为企业服务的智能科技品牌,字节跳动的 A/B 测试工具也已通过火山引擎开放给企业客户。

A/B 测试是指对不同策略进行对比实验,根据结果选择最优方案。在互联网时代,A/B 测试被谷歌等巨头广泛使用在产品开发和运营中,有研究者也把 A/B 测试视为字节跳动快速增长的重要因素。

据杨震原介绍,公司成立之初,今日头条就在做策略推荐类的 A/B 测试。2016 年,字节跳动建立了支持大规模产品实验的 A/B 测试平台,之后陆续接入抖音、西瓜视频等全线业务,把 A/B 测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。

最新数据显示,字节跳动每天同时进行的 A/B 测试达到上万场,单日新增实验数量超过 1500 个,覆盖 400 多个大大小小的业务。随着公司发展,这些数字还在不断扩大。截至今年 3 月底,字节跳动累计已经做了 70 多万次 A/B 测试。

杨震原表示,字节跳动积累的技术能力和增长方法,会通过火山引擎提供给企业客户。火山引擎产品体系包括基础服务、技术中台、智能应用和行业解决方案,字节跳动的视频编辑、特效、文字识别、图像识别、个性化推荐等技术能力,都已在火山引擎上为企业服务,A/B 测试也是其中一款重要的数据产品,能够帮助企业提高决策质量,促进业务增长。

据相关产品负责人介绍,火山引擎 A/B 测试支持客户端、服务端、推送、网页、可视化建站等多种实验形式,具有功能全面、高度自动化的特点,即使不会编程的人也能轻松做实验,而且有内容丰富的实验报表,可智能产出实验结论,让决策链清晰完备。

据了解,以悟空租车为例,该公司已通过火山引擎进行了 70 多次 A/B 测试,约有 60% 为正向实验,提升产品转换率约 40%,更直观地量化了需求价值,极大地提升了效率。

与此同时,杨震原也表示 A/B 测试并不是万能的,它也有很多局限性,比如提高商品推荐门槛、不推荐评分低的商品,如果做 A/B 测试,短期内交易量肯定会降低,但长期来看结论有可能逐渐反转,这是长周期影响和目标设定的问题。此外,独立的实验条件、统计置信度等问题都是做 A/B 测试需要考虑的。

杨震原表示,企业应充分意识到 A/B 测试的优势和缺陷,对目标选择适合的评估方法。比如战略型决策,需要专家角色进行长期的思考;很多细节的决策,如果能做 A/B 测试,要尽量做 A/B 测试,并且要关注到量化分析的执行能力,真正做到数据驱动科学决策。

相关文章

关键词:字节跳动测试

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 6655网址之家 Win10之家 Win8之家 Win7之家 Vista之家

软媒旗下软件: 魔方 旗鱼浏览器(极速内核) 云日历 酷点桌面 闪游浏览器(IE内核) Win7优化大师 Win8优化大师 Win10优化大师 软媒手机APP应用