中华网数码

设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:滚动新闻>

火山引擎A/B测试:MAB智能调优实验,企业活动效果提升新利器

火山引擎A/B测试:MAB智能调优实验,企业活动效果提升新利器
2023-05-30 20:47:29 来源:实况网

618临近,各大电商APP的预热活动已然拉开序幕。对企业而言,一场活动从策划到上线,中间经过效果验证,其业务成本很高。一个好的活动创意从策划、开发、到最终发布,至少会经历几周实践,如果中间还经历A/B实验的小流量效果验证,会更加耗时耗力。但一个不容忽视的现状是,很多短期的线上活动很可能前几次的A/B实验结果都是不显著的,但由于活动排期紧凑、实验调试时间短,常规A/B实验能为活动优化带来的收益常会收效甚微。

企业在短周期的活动运营场景中,如何通过快速、低成本的A/B实验,获得更好的收益呢?火山引擎A/B测试DataTester推出的新功能——MAB智能调优实验,可以解决企业短周期活动运营场景的A/B实验痛点。

传统A/B实验依赖于统计显著性的经典假设检验,在实验期间不能够变更每个子版本的流量;因此这类实验需要至少7天的专门预留周期、要有足够的样本进入实验,并且在实验开始后不能有任何变动,才可能得出显著结果。而不同于传统的A/B实验,DataTester的MAB智能调优实验能支持1-2天的短期快速A/B实验,实验以整个活动收益最优为核心目标,可实现动态实时的流量调节。

以某款游戏APP促活活动实验为例,该APP接入了火山引擎DataTester,希望验证多文案push场景下,MAB智能调优策略能比均匀分流的策略带来点击率更高收益。

该APP的运营团队首先拟定了4款不同的推送文案:

● 标题1:巨量元宝限量发!!!

● 内容1:宝箱已满,整整300颗元宝待领\n马上点击获得>>

● 标题2:@你,有人偷偷给你送元宝啦😊

● 内容2:整整300颗元宝待领\n马上点击获得>>

● 标题3:免费的元宝福利到啦~~🎁

● 内容3:最高可获得540颗元宝,还不赶紧来领取👉👉>

● 标题4:今天的元宝奖励来啦~~~

● 内容4:元宝已经溢出来了!\n点击领取才能继续收集哦>>

在实验设计时,他们将整个实验层的流量(100%)均分为两组,实验总时长和活动时长一致,设为5天。对照组给50%流量,并在对照组流量中开设一个ABCD实验。将流量等分为4份,分别分给上述4个文案。实验组同样给50%流量,对实验组进行MAB智能调优实验。

在为期5天的实验结束后,可以看到对照组和实验组的5日累计指标数据,发现基于DataTester MAB智能调优实验进行流量分配的实验组,在总体点击率上获得+9.1%的正向收益,且增长显著(p value=0.002)。

通过上述案例可以发现,在两组实验中,实际观测的点击率(CTR)最高的文案并不太一样。这意味着,受推送发布时间、用户心理等多种不确定影响因素影响,假设以对照组策略(固定均匀分流实验)作为先导实验来选择文案,最终获得的实验结论并不见得可靠。

而如果采用MAB智能调优实验,企业只需接入DataTester并启动所有的标题文案,DataTester会采用智能优化能力来进行流量的实时的调整和分配,企业的转化效率平均可提升10%以上。而除去推送文案实验场景之外,有多种营销活动场景,如落地页择优、折扣策略择优等,也都能通过DataTester MAB智能调优实验实时开启。

DataTester是火山引擎数智平台旗下产品,能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求,为业务增长、转化、产品迭代,运营提效等各环节提供科学的决策依据,目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业。

据了解,火山引擎DataTester目前推出了30天免费试用的活动,用户只要在火山引擎A/B测试官网申请试用,无需企业认证,一键申请即刻开通!(作者:余博瑞)

 

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022-11-14 11:53:20个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022年全球折叠手机总销量将首度超过千万部大关

2022-02-09 11:40:212022年全球折叠手机总销量将首度超过千万部大关

印度市场智能手机出货量出炉:vivo占比排名第三

2022-02-08 11:19:13印度市场智能手机出货量出炉:vivo占比排名第三

平板电脑进入新的竞争阶段 重新夺回市场主导权

2022-02-07 16:52:08平板电脑进入新的竞争阶段 重新夺回市场主导权

2021年四季度中国手机市场苹果占有率位居第一

2022-01-27 13:33:342021年四季度中国手机市场苹果占有率位居第一

预测2022年中国市场智能机销量达3.4亿部 同比增长8%

2022-01-26 14:57:26预测2022年中国市场智能机销量达3.4亿部 同比增长8%

相关新闻