今日头条,由于它的低俗化内容导致一直被吐槽。
但我们不得不承认:今日头条在用户增长上做的特别好!
据调研,今日头条系独立 App 用户使用时长占比,自2018年以来从 3.9% 猛增到 10.1%,增长了1 .6 倍,超过百度系、阿里系稳居总使用时长第 2 名。
更牛逼的是,头条系产品这种突飞猛进的增长速度还在持续,单今日头条资讯 App 每天还在保持 100万+ 的新增。
兔子说了这么多,可不是为了夸头条,只是想利用这个来引出下面的内容。
在头条系这般“丧心病狂”的用户增长背后,有哪些值得我们学习的小技巧?
头条是如何达到快速增长?
其实,头条之所以可以达到快速增长,主要是依靠它那强大的数据监控系统(花大价钱买数据),任何产品的日活和增长数据都在它们的监控之下。
另外,为了帮助提升创新产品的成功率,头条内部甚至还研发出了一套增长引擎,在咱们还在纠结用哪条创意、哪个着陆页、哪个颜色按钮时,它们已经在同时进行几十组甚至上百组的 A/B 测试,帮助产品经理和运营们找到最优的方案了。
虽然,头条强大的数据监控系统我们模仿不来,他们的增长引擎我们也暂时研发不出来。但是帮助筛选最优方案的 A/B 测试,我们还是可以进行借鉴学习的。
今日头条的A/B 测试
看到这,也许会有SEMer们开始不耐烦了,认为兔子拿一些烂大街的东西来讲。
的确,A/B 测试对于竞价员或优化师而言,再熟悉不过。所以,一些概念性的东西就不说了,我们来看看:今日头条是如何开展 A/B 测试的?
今日头条的头条号具有“双标题”功能,这其实就是 A/B 测试的一种实践。
一篇内容可以起两个标题,那么一个标题废了,还有另一个标题撑腰。不像微信公众号,只有一个标题,一旦标题废了,阅读量基本上就完蛋了。
这套“动态”内容推荐机制是如何运转的呢?
同样的方案,今日头条会先推荐给小范围的人群:
比如 100 人,如果这 100 人对标题、内容的反馈均不错,那就把方案推荐给更大范围的人群,比如 500 人,如果这 500 人对标题、内容的反馈效果很好,再推荐给更大范围的人群,比如 2000 人,以此类推。
用户的行为动作会被搜集,据《今日头条推荐系统原理》介绍,基本上每小时都可以看到用户对内容的反馈。但因为每小时都有数据上的波动,今日头条通常以天为时间节点,来查看用户的行为数据。
将用户的行为动作进行搜集后,今日头条会有日志处理、分布式统计,写入数据库。
由于,今日头条设置“双标题”的功能,使其更加精准地了解用户对于标题的反馈,从而掌握用户的行为数据。
当然,今日头条在 A/B 测试上最牛逼的玩法不是“双标题”功能,因为只测试标题,就会造成“标题党”泛滥横行。基于此,今日头条 A/B 有一套“动态”的内容推荐机制,这里的”动态“指的是根据反馈结果,实时更新调整。
今日头条系统就可以自动生成:实验数据对比、实验数据置信度、实验结论总结以及实验优化建议。
也就是说:今日头条通过A/B测试,不仅完成了方案调研,还测试了用户口味,实现精细化内容推荐,从而更好地留住用户。
A/B 测试容易踩的坑
A/B 测试看似简单,实则隐藏着许多沟沟坎坎,稍不注意就会导致试验结果偏离科学轨道。
1)忽略测试环境差异
如果让你对创意进行 A/B 测试,你会用下列哪个方案去测试的你的标题?
a. 将上海地区用户分成 3 个组,并在同一时间分别推送 3 个不同的标题。
b. 将上海地区用户分成 3 个组,并在不同时间点分别推送 3 个不同的标题。
如果你的是选择 b 方案的话,恭喜你翻车了!
举个不太恰当的例子,b 方案的测试方法就好比在电视上投放广告,分别选取了工作日的下午 3 点钟和晚间黄金时段进行测试收集。
由于轮流展示时的测试环境不尽相同,所面向的受众群体更是千差万别,因此最终试验结束后的数据结果必然会存在一定偏差,也就更不具有说服性了。
2)容易「以全概偏」
在测试结果没有表现出理想状态下的数据提升时,如果你直接放弃的话,有可能你又踩坑了。
国际短租平台,搜索是 Airbnb 生态系统中很基础的一个组成部分。Airbnb 曾经做过一个关于搜索页优化的 A/B 测试,新的版本更加强调了列出的图片,以及房屋所在位置(如下图所示)。
在等待了足够长的时间之后,试验结果显示新老版本的整体数据相差无几,似乎这次优化没有很好的效果。
如果此时,Airbnb 直接根据整体的数据表现放弃了这次优化,那么这个花费了很多精力设计的项目就会前功尽弃。
相反,经过仔细研究,他们发现除了 IE 浏览器之外,新版在其他不同浏览器中的表现都很不错。当意识到新的设计制约了使用老版本 IE 的操作点击后(而这个明显为全局的结果造成了很消极的影响),Airbnb 当即对其进行了修补。
至此以后,IE恢复了和其他浏览器一样的展示结果,试验的整体数据增长了 2% 以上。
通过 Airbnb 的例子,我们能学到正确的做法是:在整体效果不太好的时候,不要一竿子打死,而需要从多个维度细分观察个体的情况,以避免区群谬误带来的决策偏差。
3)只做到了局部最优
避开了上面的 2 个坑之后,你可能得到一个相对不错的测试结果,在你欣喜若狂时,正准备对外宣布战果时,可能已经踩入了另外一个坑——“局部最优”
以某金融平台提升新用户的注册率的 A/B 测试为例,通过不断进行注册按钮的文案优化,发现相比于“立即注册”、“免费注册”等文案而言,“领取 100 元新人红包”的注册率是最高的。
但是,如果只是沉迷在文案上做测试,其实他可能就错过了提升用户注册率的其他更效假设。
正确的做法是可以进行用户调研,了解用户不注册的原因在哪,通常情况下金融平台让用户放弃注册的原因还在于,注册流程繁杂、信任问题、无匹配的理财产品等,所以在完成了注册按钮的文案测试时,我们还需要在这些方面也进行想要的实验。
总结
今天的文章,我们通过分析今日头条,向大家展示了 A/B 测试的强大功效。
虽然, A/B 测试早已成为了我们营销人在进行推广过程中必不可少的手段,但希望通过此次分享可以让大家发现以前没有注意到事项。
来源:运营研究社
扫一扫 微信咨询
商务合作 联系我们