你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

  • A+
所属分类:日常生活

目标读者:涉及产品数据的新人(PM、数据分析师、产品运营)

当我刚开始在文图做产品实习生的时候,想做点数据分析,但有很多问题,不知道怎么做,比如

  • 怎样对产品做数据分析?用什么样的工具?
  • 怎么定义产品的指标 (metrics)?
  • 为什么要做数据分析?数据分析能带来什么样的价值?

于是找了不少书和资料,才做了一点微小的工作。

目前,这方面的例子并不多,所以,这里以我们的产品文图(wentu.io/) 为例,分享一点微小的经验,希望能对和我一样的新人们有所帮助,当中存在的问题也欢迎指正

注:因为商业上的一些考虑,所以对数据做了遮挡处理,希望大家可以理解

1. 产品与Metrics

(1) 文图是什么?

文图是一款用来做数据报告(下图)的产品

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

比如,你写了一篇数据分析报告,然后希望看起来比较专业(排版、颜色),那么可以用文图,因为有设计好的样式。另一方面,图表、表格中的数据都是可交互的,也有目录导航,对读者有较好的阅读体验。

(2) 怎么定义产品的数据指标?

产品数据分析的基本,是各项指标(metrics),当中最常用的是AARRR模型 [1],也就是把用户从访问到使用,分成了获取(Aquisition)、激活(Activiation)、留存(Retention)3个阶段(下图)

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

其核心指标是留存/活跃用户数,也就是希望用户能再次访问(e.g. 微信, 微博)

然而,AARRR并不适合所有产品

一个简单的例子是,Airbnb的留存肯定也很低,因为没有人会每天订房间。文图也类似,没有人会每天写报告,可能一个月一篇就不错了。因此,短期留存的意义不大, 留存/活跃用户更大程度上是产品好坏的最终反映,而非需要直接提升的指标。

所以,我们用HEART模型来定义metrics (下图,具体介绍见[2])

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

具体而言,是从产品本身的目的入手,更为本质。

文图的目的是帮助用户制作数据文档,在产品中由多个事件组成:文档创建 -> 编辑文档 -> 文档完成(发布/下载)。最核心的指标,是完成文档的数量,即有多少文档发布、下载了同样的, Airbnb的核心指标之一是订床的数量, 而不是每天的活跃用户有多少。

不过,这只是对“制作者”而言。对于运营人员、数据分析师这些制作者来说, 他们最终的目的是希望“读者”能方便的阅读文档,了解数据和分析的结果,文图也因此才会有移动端阅读、分享到微信等功能。所以,只有保证读者有良好的体验,制作者才会长期的使用下去。不过,这方面并没想到好的指标。

最后,总的metrics包括

(1) 基本状况

  • 注册用户数(按周/月)
  • 活跃用户数(按周/月)

(2) 业务指标

  • 文档制作者: 创建文档 -> 编辑文档 -> 发布、下载
  • 文档读者: 暂缺

(3) 增长指标

  • aquisition 转化率: 访问 -> 注册按钮-> 注册成功
  • activiation 转化率: 注册成功 -> 创建文档 -> 编辑文档

2. 实现

设计好了metrics,怎么具体得到这些数据呢?

我们用神策(类似Mixpanel/GrowingIO),包括基本的dashboard和更复杂的事件分析

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

上图是我们的dashboard, 包括注册用户、文档创建等指标,每天用来了解产品的基本使用情况。

在代码实现上,用户做了相应的操作,就用js把相应的数据传输到后台进行记录(埋点),之后就可以用神策进行分析了。

比如

(1) 文档制作漏斗

可以用漏斗模型看文档制作中各个步骤的转化率(创建 -> 编辑 -> 下载/发布)

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

而完成文档的用户数,就是我们产品的核心用户群

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

这个也放在了dashboard中,可以看到,每周都会有许多用户在文图上完成了文档制作

(2) 注册成功/失败比例

对用户注册的行为做了记录(分成成功和失败),能看到产品注册成功/失败的曲线

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

(3) 文档类型比例

文图的文档有多种类型,包括单页-PPT-打印文档3种,这3种各占比例多少呢?我们内部几乎都是用单页文档,但看到数据,发现实际用户创建PPT的并不少,比我们预想的多多了

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

3. 案例:这个模板好用吗?

文图的核心功能之一,是用户可以使用模板(下图)创建文档。这些模板都是经过设计的,比单纯的Excel + Word来的要更好看。

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

但是,我们对模板的设计并不满意,觉得一些模板并不好看,而且,也常有用户说某个模板颜色对比不够等等

这些模板好用吗?怎么分析这个问题?

可以从文档完成率考虑 —— 用户创建文档后,经过一系列的操作,最终完成文档(发布、下载)。期间,有没有可能因为模板的不足(e.g. 颜色对比不够),而放弃呢?

各模板的创建量、完成量和完成率(完成率=完成量/创建量)如下

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

可以看到

  • 默认模板(blue)创建量明显高于其他模板,说明数据基本准确
  • 完成率和创建量相当不同,创建最多的并不是完成率最高的,而一些小众模板(pure)的完成率不错,说明计算基本上有效。而且这个顺序和我们主观的感知也大致相符

仔细观察完成率最后几位 (my_red, my_blue, my_green),可以发现一个共同点,都带有header. 这和一些用户的反馈相同,“自己写了个文档,结果头上顶个别人家的header, 觉得不爽 ”,也难怪写到一半就不写了

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

而很有意思的是,blue 和my_blue的关系(下图)

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

这两个模板大体相同,只是后者带了header,而完成率就有了区别。考虑到blue作为默认的模板本身会有大量的试用,其实际完成率要更高, 因此可以说,单单加上这个header,文档的完成率就会往下掉大概15% 。而去掉header, 文档完成的数量就很有可能提升。

总之,通过完成率,可以发现模板设计的好坏对文档完成有较大影响

而且,假如把所有模板的设计水平都提升到第一的水准,是近40%的提升。把这些分析结果告诉设计师,他们也就更有动力、方向做改进了,而不是简简单单的说“把模板设计得更好看”

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

4. 案例: 为什么产品没有增长?

仔细观察dashboard,会发现更深层次的问题

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享
  • 注册量: 始终不变. 意味着自然流量来源没有增加,也就是说没有任何人为我们自发宣传,没有口碑传播
  • 文档创建量: 始终不变,意味着活跃用户没有增长, 否则应该逐渐积累并增加. 意味着大量的用户流失, 没有继续使用

简单来说,产品没有明显的增长,尽管这一年更新了许多功能 ,尽管每周会有许多用户在文图上完成文档制作(此处应有心碎的声音,呜呜)

为什么会这样?

可能原因之一,是文图本身的特性所致。

你会怎样衡量你的产品? —— 一点产品数据分析的经验分享

像上图,是典型用户的行为次数统计,可以看到3-4月第一次使用,再次使用就是8月了,而下次使用呢?这是我们的用户,但他的留存效果并不明显。Airbnb也是类似,其留存是按年计算的 [3]。

那怎么分析这个问题?

数据分析师同学们可能已经摩拳擦掌,想了很多模型、算法了。。。。。

但更好的办法是直接找到用户,问他们为什么继续使用/放弃使用,也就是用户访谈。在这里,可以分群体访谈,比如

  • 流失用户:3个月前注册并完成文档的用户,但之后没有再使用的。为什么没有再使用?是使用效果不满意,还是行为本身低频?
  • 留存用户:本月完成文档,但是在3个月之前注册的老用户。为什么持续使用?他们用来做什么?有没有可能找到更多类似的用户?他们是从哪里知道文图的?
  • 尝试但是未完成文档的用户:本月注册成功,并尝试使用(编辑文档5次以上),但最终没有完成文档的。产品在哪些方面有问题,最终没有完成文档?

5. 总结

这里,我们以自己的产品文图为例介绍了产品数据分析的一些基本的内容,包括

  • 怎样设定metrics (HEART),而不仅仅是从活跃用户数的角度去考虑
  • 怎样运用metrics分析 (模板完成率的分析,实质是定量分析)
  • 怎样不用metrics做分析(用户访谈,实质是定性分析)

不过,为什么要对产品做数据分析?

数据分析只是手段,重要的是目的

通常,我们会关心这些问题

  • 产品发展得如何,是否有增长?存在什么问题?
  • 新开发的功能反映如何?是不是起到了效果?
  • 怎么和团队沟通这些判断、分析?

用数据分析可以较好的回答这些问题,尤其在团队内部沟通的时候。

因为对产品,人们总有不同的看法/感觉,有的人觉得这样好,有的人觉得那样好。用数据交流,效果就更好一点,因为是在拿结果说话,而不是光靠感觉。更何况,大家很多时候会发现,用户的实际反馈和你的感觉并不一样。(这点对老板们也很重要,否则团队就是在满足老板的“感觉”,而不是实际的用户需求。)

但另一方面,数据分析也不是万能的,很难告诉我们“为什么”

就比如最后的例子,产品做了很多功能,为什么还是没人用呢?数据其实没有办法直接告诉我们原因,这需要采用访谈等其他方法了。

6. 学习资源

最后,介绍一些产品数据分析方面的学习资源,方便同学们入门

关键字:Product Analytics,不是Data Science. Data Science更接近于推荐系统中涉及到的算法,而Analytics 则是数据分析、指标这些了。

(1) Lean Analytics, 中文版《精益数据分析》

book.douban.com/subject

包括了许多实际的案例,很好的说明了数据分析能带来什么价值。我个人非常喜欢案例中通过分析解决问题的思维方式。

刚入门的话,只看第1部分即可,之后可以按需要再回头看

(2) How to Measure Anything, 中文版《数据化决策》

book.douban.com/subject

只看第1部分即可,也是学习当中数据分析的思维方式

顺带一提,看完这部分,产品面试中常见的估算问题也能基本搞定了

(3) Growth(用户增长)

说到产品的数据分析,一定会提到Growth,这两个很多时候是等价的。这方面内容很多,作为入门,我推荐

a. Andrew Chen: The Next Feature Fallacy

andrewchen.co/the-next-

“产品没人用? 那做个更NB的功能吧,这样就有人用了。” —— 这样做对吗?

b. YC Startup课程: How to Get Users and Grow - Alex Schultz

youtube.com/watch?

YC的课程,Facebook的VP Growth专门讲Growth的,个人也非常喜欢


最后,数据分析落到实处,其实就是这句话 [4]

Good teams celebrate when they achieve a significant impact to the business KPI’s. Bad teams celebrate when they finally release something.
好的团队在达成重要的KPI的时候进行庆祝, 差的团队在终于发布了点东西的时候进行庆祝。

[1] AARRR, 500hats.typepad.com/500

[2] HEART, library.gv.com/how-to-c

[3] Airbnb, blog.ycombinator.com/gr

[4] Good Product Team, Bad Product Team, book.douban.com/review/

文: @子珂

可视化工具:文图

更多文章关注:数据冰山-知乎专栏

始发于知乎专栏:数据冰山

weinxin
我的微信
这是我的微信扫一扫

发表评论

您必须才能发表评论!