2021-11-24 09:50

实验引爆用户增长:A/B测试最佳实践|鱼乐网

#抖音直播

在互联网下半场竞争中实现科学增长,切实让AB测试对业务转化率提升带来的价值,以及如何在团队中有效推进AB测试系统科学设计实践等内容

一、今日头条增长秘籍:AB测试驱动科学增长的公司

实验引爆用户增长:A/B测试最佳实践|鱼乐网

AB测试而决定,张一鸣告诉同事:哪怕你有.%的把握那是最好的一个名字,测一下又有神马关系呢

”今日头条从起名字开始就运用了数据思维,创始团队没有头脑风暴,没有投票,没有老大拍板儿,而是采用科学实验的方式,通过数据观测确定了头条的名称

他们将AS上各类免费榜单的前名整理出来,然后根据名字归类(朗朗上口白话类,内涵情怀类,模拟特殊声音类,公司名+用途类等),分析那各类数量占比

分析结论是朗朗上口的大白话效果最好 其次,分渠道AB测试

在AB测试,比如说AAB测试,因为需要验证整个AB测试系统的准确度,需要设置两个对照组,所以叫AAB测试

不管同时运行几个实验,我们都可以将它们统称为AB测试频率概览图,其中可以看到,公司市值或体量与AB测试系统与数据分析平台,平均每周AB测试,其中包括一些相对复杂的实验,如推荐算法AB测试

至于国内BAT等一线互联网公司,它们每周也会进行上百个AB测试平台,所以他们选择与TAB测试服务快速应用到业务中

比如,某互联网金融用户,在使用TAB测试,使用了云测AB测试频率,每周跑大概个A的实验会取得转化率指标提升%-%的效果,剩余的产品设想并不符合预期,就是说转化率其实没有原始版本好

这个也是为什么需要A的改进并不是最优解 上述图表展示的是微软必应搜索引擎AB测试实验增长情况 可以看到,在B产品初期,每周AB测试每周频率进入快速增长

图表右下角绿色曲线,是B移动端的AB测试实验,以驱动数据增长,促进业务发展

三、AB测试在移动应用中的四大应用场景,分别是A、落地页、后端算法和小程序

APP端是目前移动互联网增长的主要载体,PC或H(如常见的朋友圈刷屏活动)或者广告投放落地页面等则可以归为落地页,还有后端算法场景,如推荐算法、广告算法、千人千面等等

目前增长最快的应用场景,则是小程序 在不同的场景,AB测试中设定的具体目标

案例一:相机拍照类应用以C为案例,它选用TAB测试来验证哪个方案可以最大化提升商店入口点击率

在验证过程中,他们也针对人群目标做了相关定向测试,如日本、中国、韩国等区域,最终他们针对这一入口同时上线~个测试版本,通过AB测试,为A、B版本分配了各%的流量

在经过测试后发现新版本的签到次数比原始版本签到次数提高.%,其中%置信区间结果显示小范围人群的试验结果推广到全量用户之后,有%概率获得.%至.%的提升;-小于.,显示新老版本有显著统计差异,P为%,说明统计功效显著

通过这次简单的AB测试的可视化功能,直接修改相关元素属性就实现了对照功能,无需开发人员介入

那产品什么时候需要AB测试需要成本,比如需要开发多套版本,需要搭建可用的AB测试平台有个必要条件,一是产品决策影响大,二是产品方案选择困难

如果某决策对产品影响很大,但选择不困难,则没有必要进行AB测试优先级也并不高

只有当一个产品决策同时满足影响大和选择难这两个条件的时候,才最适合进行AB测试

四、AB测试做到落地有三大关键要素:第一,人的因素,或者说整个团队的思维习惯、思维方式

第二,业务流程,就是增长工作流程

展开来说,在「人」的角度上,要求整个团队具备数据驱动增长、AB测试无关紧要,比较依赖经验进行产品优化决策,那么AB测试、以数据驱动增长这一路径

行业发展趋势决定所有团队都会慢慢迁移到用科学的实验进行增长这条路上来,即使你现在的团队推进AB测试将是最重要的产品增长驱动力

我曾与较多欧美增长同行进行过深入交流,有一个很深感受就是他们的互联网企业中AB测试落地方案也会不一样

第二,要考虑AB测试紧耦合,形成流水线作业,这也是BAT等公司能够把AB测试服务还涉及到较为严格的数据统计,需要配置专业的数据分析师

如果使用目前市面上的第三方工具,比如TAB测试服务 比如,某小程序用户当天接入TAB测试实验 无论是自研还是使用第三方工具,关键在于适合自身团队

五、AB测试最佳流程,可分成四个步骤:分析数据:分析现有原始版本的各项数据指标,如注册转化率等,比如说注册转化率仅有%,针对这一转化率提出想法;提出想法:比方说要改进注册流程,之前用户需要输入短信校验码,计划改成图片校验码,形成改进备选方案

有了该基本假设后,预估大概率可以提升转化率;重要性排序:限于团队资源有限,无法把所有需求想法全部都去验证,这就需要做重要性排序,选择最重要的这几个改进方案去做AB测试:在这个过程中,我们要监测AB测试实验,被证明无效(与原始版本效果差别不大,或者比原始版本效果还坏)

这里需要大家注意,不是所有的实验都会被证明对指标增长有显著效果,如果是这样,我们就没有必要进行实验了

如果遇到这种情况,需要告诉自己的团队成员不要灰心,正因为某些实验被证明无效,我们才会找到有效的增长方式

实验失败是大概率事件,我们最好的办法就是增加测试频率、持续测试,而非浅尝辄止,又回到经验主义决策的老路上

如果你的团队从来没有做过AB测试开始,比如说测试关键按钮中不同文案的转化率;多做团队间的经验分享,多分享你的成功经验,有效果的事情大家都愿意尝试;不要天天去分享失败的经验,如果过多分享失败经验,会让你包括你的团队对AB测试工具,比如TAH、小程序

六、企业AB测试的三大关键因素,以及AB测试成熟度模型

处于起步阶段,平均每周能做~个AB测试阶段,但内部没有成型的AB测试并不是一个标准的AB测试已经成为产品迭代流程的一部分,并需要可视化AB测试等高级功能,以便满足多样的AB测试系统设计能力上面分享了如何落地AB测试系统,需要具备哪几点能力或特征:.科学流量分割包括唯一性、均匀性、灵活性、定向性及分层分流

唯一性是指通过精准且高效的H算法,确保单个用户每次登录应用时被分到的试验版本是唯一的;均匀性,则是确保分流人群,各维度分配比例均匀;灵活性,则需要支持用户随时在实验的进行过程中,调节实验版本之间的流量分配比例;定向性,则是可以根据用户标签来实现精准定向分流,如根据用户设备标签及其他自定义标签特定分流;分层分流,则可以满足并行进行大量AB测试实验多个实验不能同时使用全体用户进行测试,可能因为人群覆盖度不够高导致结果偏差每个实验的可用实验流量受限于其他正在进行的实验,缺乏灵活的流量分配机制有了分层流量分割机制,就可以很好地满足并行进行不同业务或不同场景,或者不同产品模块之间的AB测试后面有机会再与大家分享

正在改变与想要改变世界的人,都在 鱼乐网

上一篇:如何设计一款病毒式裂变产品?|鱼乐网

下一篇:案例|类移动金融用户人群的营销建议|鱼乐网

推荐阅读

最新文章