近期火山引擎DataTester上线了MAB智能调优实验功能,希望通过智能化、自动化的A/B实验形式,帮助业务团队实现收益最大化。
在A/B实验平台的研发道路上,火山引擎DataTester走在业内前沿,在常规的A/B实验之外,一直在探索实践智能实验。此次新功能MAB智能调优实验(Multi-Armed Bandit), 是一种能根据当前实验数据表现,来智能调整实验内不同实验组的流量比例分配的实验类型。
传统A/B实验依赖于统计显著性的经典假设检验,为对照版本和实验版本分配相应的流量,但在实验期间不能够变更每个子版本的流量。因此这类实验需要专门的预留周期(至少7天),必须有足够的样本进入实验,并且在实验开始后不能有任何变动,才能得出显著结果。而火山引擎DataTester的MAB智能调优实验,克服了传统A/B实验的上述限制,在如下几个场景上有特殊的应用优势。
在冷启动、流量少的场景下,MAB实验也能发挥A/B实验的优势点。对于初创公司,或在产品、活动冷启动时期,面临的一大问题是没有足够的流量进行实验。但由于MAB实验会基于当下指标的表现动态进行流量分配,所以能够在总流量不多的情况下,通过A/B实验的形式将收益最大化。
有了DataTester的MAB实验,短周期的活动也一样可以依靠A/B实验进行优化了。活动运营有很大一部分是持续时间较短的活动,例如很多电商活动的持续周期只有1-3天,如果受限于传统A/B实验的限制,仅实验流量就要跑7天以上才能得到显著性的成果,无法应用在短周期活动中。而DataTester的MAB实验,由于实验核心目标是整个活动收益最大化,而非帮助用户找到数据最优组,因此对实验时限无要求,短周期活动也可以用A/B实验优化。
在促进高价值流量转化方面,MAB智能调优实验可以起到加速作用。对于一些高客单价的大额商品,如汽车、钻石等,每一个转化机会的成本都很高。如果采用传统的A/B实验,在获得统计上显著方案的过程中,会错失一部分的前期实验流量,但MAB实验能够在过程中根据实时数据进行动态调优,减少实验过程中的转化机会损失。
此外,一些特定场景下,如涉及到App文案标题、缩略图、视频内容等的A/B实验优化测试,它们需要在短的窗口期内获得最大点击量,却受限于传统A/B实验实时性较弱,难以应用优化。而火山引擎DataTester MAB可以在短周期内查询各版本的转化效果,每半小时获取更新数据反馈。
DataTester是火山引擎数智平台旗下产品,能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求,为业务增长、转化、产品迭代,运营提效等各环节提供科学的决策依据。
据了解,火山引擎DataTester目前推出了30天免费试用的活动,用户只要在火山引擎A/B测试官网申请试用,无需企业认证,即刻开通。
责任编辑:kj005
文章投诉热线:156 0057 2229 投诉邮箱:29132 36@qq.com