中华网数码

设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:滚动新闻>

火山引擎DataTester:AB实验平台未来演进趋势是怎样的?

火山引擎DataTester:AB实验平台未来演进趋势是怎样的?
2023-08-29 17:25:02 来源:看点时报

近日,第四届“数据智能创新与实践人工智能大会”在北京举办。火山引擎DataTester数据科学家就“传统视角下的AB实验与互联网实验台演进”这一话题作了分享,从宏观层面介绍了AB实验台的发展状态,及未来演进趋势。

互联网AB实验台期望解决的问题是:通过结果数据度量业务方案收益,并做出最优决策。但由于AB实验结果的合理性保障,是在假设随机及满足SUTVA假设两个点的基础上存在的,因此当前的AB试验实验台亟待解决的问题,绝大部分都与二者有关。

目前互联网AB实验台的建设,围绕分流能力、数据追踪与计算能力、统计分析与结果可视化能力以及标准实验流程4块核心能力展开。大多数互联网公司都有自建的实验台,但成熟度参差不齐。其中,火山引擎DataTester完善度相对较高。在C端场景下,火山引擎DataTester SUTVA假设满足较好,实验能力发展相对成熟,可满足80%以上C端实验需求,且额外投入的人力相对较少。

但在社交、直播等违背SUTVA假设的场景下,互联网公司虽有尝试,但都未建成标准化能力。现阶段上述场景进行AB实验仍需要投入大量人力,“如何实现随机化”和“配套通用统计分析方法”成为实验台发展的痛点。与此同时,现阶段的实验台在易用性方面,如何降低使用成本和提升效率仍需提升。

DoE是Design of Experiment 的缩写,旨在描述在假设反应变化的条件下,信息变化任何任务的设计。DoE可以分为单因素实验和多因素实验,有4大基本原则:对照原则、随机化原则、重复性原则以及均衡性原则。而DoE的4大基本原则可以分别对应到互联网实验的“对照组”“流量分层 hash”“多天观测、扩流”以及“SRM问题”。

在DoE的启示下,可以分析出AB实验台可能的六个演进方向:

1. C端场景实验深度发展:从分流服务、实验结果精度以及实验分析纵横发展三个方面分别演进。

2. 增加正交分层:完善实验台正交性,实验正交的作用是两个实验没有相互影响时,可以在各个两个实验层独立进行,独立评估效果。

3. 健全实验分析能力:完善台数据归因解读能力,同时发展台正态分布外分析能力。

4. 实验工程成本优化:采用正交设计框架,并且建设标准数据源。

5. 拓展实验能力边界:减少流量场及业务之间的相互影响。

6. 完善非标场景推进准因果实验方法:台非 C 端实验类型都不同程度具备业务系统的侵入性,台建设难度陡增。目前此方面优化在抖音 & 火山引擎,已有一定的尝试和基础建设。

会上,火山引擎的数据科学家也介绍了DataTester。据了解,火山引擎DataTester源自字节跳动长期沉淀,截至2023年6月,字节跳动已通过DataTester累计做过240万余次AB实验,日新增实验 4000余个,同时运行实验5万余个。

目前,DataTester服务了包括美的、得到、凯叔讲故事等在内的上百家企业,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。


责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022-11-14 11:53:20个保法颁布一周年:个性化广告发展需平衡隐私保护与用户体验

2022年全球折叠手机总销量将首度超过千万部大关

2022-02-09 11:40:212022年全球折叠手机总销量将首度超过千万部大关

印度市场智能手机出货量出炉:vivo占比排名第三

2022-02-08 11:19:13印度市场智能手机出货量出炉:vivo占比排名第三

平板电脑进入新的竞争阶段 重新夺回市场主导权

2022-02-07 16:52:08平板电脑进入新的竞争阶段 重新夺回市场主导权

2021年四季度中国手机市场苹果占有率位居第一

2022-01-27 13:33:342021年四季度中国手机市场苹果占有率位居第一

预测2022年中国市场智能机销量达3.4亿部 同比增长8%

2022-01-26 14:57:26预测2022年中国市场智能机销量达3.4亿部 同比增长8%

相关新闻