火山引擎 DataTester:一次 A/B 测试,帮助产品分享率提升超 20%

管理员

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群

对 C 端产品而言,增长的核心要素之一是用户活跃度。通过各类激发互动的方式,使信息得以在关系链中流转、传播,达成有效的信息交互,是产品生态能否被激活的关键。

本文将分享字节跳动的短视频产品增长案例。该产品团队通过 A/B 测试,圆满地完成了用户互动环节的优化,将产品传播率提升了超 20%。

对短视频产品而言,用户互动行为是用户在观看内容时,做出的点赞、评论、分享等行为。这些行为不仅能激励创作者,也能让优质作品产生规模效应,带来内容生产和消费的正循环。用户之间的分享行为,还会加速优质内容在不同媒体渠道间的传播,为产品引入新的用户。

该产品团队通过数据分析发现到一个问题:平台上的视频作品,无论是二次播放率还是点赞率,数据表现都都远远高于分享率。他们判断,视频作品的分享率可能有很大提升空间,尤其是用户点赞过的视频,充分说明了用户对内容质量的认可,那么分享的动机和意愿也会更强。

因此,该产品团队的同学进行了大胆假设:在用户发生点赞行为后,产品界面中增加转发分享引导,可能会促成更多分享行为。

那么如何确定上述假设是正确的?又如何在多个分享引导界面设计中,选到最优方案呢?

该产品团队应用了内部自研的 A/B 测试平台——火山引擎 DataTester,通过 A/B 实验,来帮助他们找到最优的业务策略。

  1. 产品策略设计

目标:通过引导分享界面优化,提升用户分享率。

设计:相对于线上旧版功能,新功能在引导样式上由静态变为了动态;此外,触发时机由“用户循环播放 2 次该视频作品”改为了“用户点赞该视频作品”。引导样式对比图如下:

2. 实验方案设计

在完成了分享引导新功能的设计后,该产品团队基于想要验证的目标,在 DataTester 上设计了实验分组。实验设计在原有的旧产品策略、新产品策略之外,还额外增加了一个“反转实验组”,该实验组是要验证分享策略是否对用户体验有负向影响。

在实验运行一段时间后,该产品团队对 A/B 实验报告进行了分析,发现在核心指标「人均分享量」上,“实验组 1”的数据呈正向变化,人均分享量显著提升了 20%!数据说明新产品策略能有效提升用户互动意愿,该产品后续全量上线了实验组 1 的方案。

这是一次成功的 A/B 实验,这背后离不开产品团队前期筹备的多向探索、实验设计时的不断纠偏。而到了从多个产品策略中择优的那一步,则体现出了 A/B 测试的精准和客观。像这样的 A/B 实验,字节跳动每天都会新增 2000 余个,DataTester 依靠它先进的底层算法及强大的统计应用研究,在字节跳动内部帮助今日头条、抖音等多个产品“小步快跑、高效迭代”,用科学的实验衡量决策收益。

如今,DataTester 也已经由火山引擎对外开放服务,目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业,支持了多种业务场景需求,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。

 

点击跳转火山引擎A/B测试DataTester官网了解详情!