首页 - 抖音热点 > 火山引擎DataTester:A/B实验如何应用在抖音的产品优化流程中?

火山引擎DataTester:A/B实验如何应用在抖音的产品优化流程中?

发布于:2023-03-15 作者:抖音之家 阅读:1396

日前,在WOT全球创新技术大会上,火山引擎DataTester技术负责人韩云飞做了关于字节跳动A/B测试实践分享。DataTester是字节跳动内部应用多年的A/B实验平台,至今已承载了字节内部500余条业务线的A/B实验任务,累计开展的实验多达150万次。

字节跳动内部有着非常浓厚的数据文化和实验文化。抖音、今日头条的名字都经由A/B测试确定,而A/B测试也被作为基础环节,嵌入在了字节内部产品研发的链路中。

通常来说,一个产品新功能的研发流程如下所示:

图片1.png

而字节内部的产品新功能研发流程则会在常规的基础研发流程中,额外嵌入两个环节:埋点设计与A/B实验方案设计。

A/B实验在字节,就像研发敲代码、产品写需求文档一样,是产品从构思、设计到上线全流程中不可或缺的一环。

举个例子,假如抖音团队希望提升产品的用户活跃度,计划通过给产品增加一个 熟人Tab 的方式进行,那么整个的产品优化改动流程是什么样子的呢?

首先,从产品经理做PRD方案的时候开始,就会提供不止一种产品方案,包括用户路径方案、按钮位置方案等,不同的方案对于用户在抖音上的使用及留存数据,影响一定是不同的。多种方案的数据效果,将通过A/B测试进行量化。

下方的页面样式,就是 熟人Tab 放置的3种不同方案示例:

V0组:不设置 熟人Tab ,不出现 熟人关注内容 ,不出现熟人投稿后展示

V1组:设置 熟人Tab ,出现 熟人关注内容 ,熟人投稿后展示在 关注Tab 页

V2组:设置 熟人Tab ,不出现 熟人关注内容 ,熟人投稿后展示在 熟人Tab 页

上述3组方案即为在DataTester中开启实验的A/B实验组。由于抖音的用户体量大,如果草率的决定某个产品设置可能会对整个生态有很大的影响,因此会首先开启小规模、小流量的多重A/B实验。A/B实验的目的,一方面要验证这个功能是否能有效达成初始设计目标,另一方面也要验证新功能是否对抖音大盘核心数据有正向影响,如是否能长期提升用户活跃度以及投稿的意愿等。

在上述提到的例子中,DataTester的实验结果显示V2组试验指标各项均更为优秀,说明新增 熟人Tab 对比其他方案而言能对抖音价值有更为明显的提升,那么后续在产品迭代中,会考虑全量上线这个产品优化策略。

DataTester而今也通过火山引擎对外开放服务,截至目前,已服务了包括美的、得到、凯叔讲故事等在内的上百家外部企业,为业务的提效、增长、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的 数据驱动增长 经验赋能给各行业。

二维码

扫一扫关注我们

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件至 admin88@111.com举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签: #产品 #A #抖音 #B

相关文章

您需要 登录账户 后才能发表评论

发表评论

抖音教程

首页
抖音热点