新浪新闻客户端

火山引擎DataTester案例:如何用A/B测试提高产品用户互动率?

火山引擎DataTester案例:如何用A/B测试提高产品用户互动率?
2023年01月12日 16:28

  对C端产品而言,增长的核心要素之一是用户活跃度。通过各类激发互动的方式,使信息得以在关系链中流转、传播,达成有效的信息交互,是产品生态能否被激活的关键。

  本文将分享字节跳动的短视频产品增长案例。该产品团队通过A/B测试,圆满地完成了用户互动环节的优化,将产品传播率提升了超20%。

  对短视频产品而言,用户互动行为是用户在观看内容时,做出的点赞、评论、分享等行为。这些行为不仅能激励创作者,也能让优质作品产生规模效应,带来内容生产和消费的正循环。用户之间的分享行为,还会加速优质内容在不同媒体渠道间的传播,为产品引入新的用户。

  该产品团队通过数据分析发现到一个问题:平台上的视频作品,无论是二次播放率还是点赞率,数据表现都远远高于分享率。他们判断,视频作品的分享率可能有很大提升空间,尤其是用户点赞过的视频,充分说明了用户对内容质量的认可,那么分享的动机和意愿也会更强。

  因此,该产品团队的同学进行了大胆假设:在用户发生点赞行为后,产品界面中增加转发分享引导,可能会促成更多分享行为。

  那么如何确定上述假设是正确的?又如何在多个分享引导界面设计中,选到最优方案呢?

  该产品团队应用了内部自研的A/B测试平台——火山引擎DataTester,通过A/B实验,来帮助他们找到最优的业务策略。

  1. 产品策略设计

  目标:通过引导分享界面优化,提升用户分享率。

  设计:相对于线上旧版功能,新功能在引导样式上由静态变为了动态;此外,触发时机由“用户循环播放2次该视频作品”改为了“用户点赞该视频作品”。引导样式对比图如下:

  2. 实验方案设计

  在完成了分享引导新功能的设计后,该产品团队基于想要验证的目标,在DataTester上设计了实验分组。实验设计在原有的旧产品策略、新产品策略之外,还额外增加了一个“反转实验组”,该实验组是要验证分享策略是否对用户体验有负向影响。

  在实验运行一段时间后,该产品团队对A/B实验报告进行了分析,发现在核心指标「人均分享量」上,“实验组1”的数据呈正向变化,人均分享量显著提升了20%!数据说明新产品策略能有效提升用户互动意愿,该产品后续全量上线了实验组1的方案。

  这是一次成功的A/B实验,这背后离不开产品团队前期筹备的多向探索、实验设计时的不断纠偏。而到了从多个产品策略中择优的那一步,则体现出了A/B测试的精准和客观。像这样的A/B实验,字节跳动每天都会新增2000余个,DataTester 依靠它先进的底层算法及强大的统计应用研究,在字节跳动内部帮助抖音等多个产品“小步快跑、高效迭代”,用科学的实验衡量决策收益。

  如今,DataTester也已经由火山引擎对外开放服务,目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业,支持了多种业务场景需求,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。

  (来源:新视线)

责任编辑:孙青扬

字节跳动

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2023 SINA Corporation

All Rights Reserved 新浪公司 版权所有