AB测试

AB测试是为Web或APP界面或流程制作两个（A/B）或多个（A/B/n)版本，在同一时间段内，分别让组成成分相同（相似）的房客群组随机访问这些版本，收集各群组的用户体验数据和业务数据，最后分析评估出最好版本正式采用。

关键词组成成分相同的房客；同一时间；用户体验数据和业务数据。

也就是说：用户群要一样；一定要是同一时间段对比，否则没意义；A/B测试指标体系（提前搭建）。

AB测试流程

1、根据数据分析得到某建议项；

2、根据建议项，产品经理得到某落地项；

3、根据某落地项，研发设计人员进行开发设计（往往是先设计，再丢给测试平台里面跑数据）；

4、研发人员数据采集：自动采集数据

5、分析师跟进AB效果：显著性在95%以上并维持一段时间，实验可结束。

整体节奏：灰度、5%、10%、20%、50%、100%（测试量）

业界都有一套AB测试平台（字眼或者购买），能够每天进行大量的AB

常见的两种AB测试类型——UI界面

以这个小人为例（墨迹天气）：

实际上在产品设计之初，要不要增加一个小人只是一个想法，而这个必须要经过A/B测试才能说要不要实现，因此A版本没有小人，B版本有小人，结果是B版本的数据比A版本摇号，所以最终都有小人

拓展：所有的设计师都要有A/B测试的思想才能更棒。

往往，你认为的好看好用是不靠谱的。

常见的两种AB测试类型——算法策略型

针对新用户的内容推荐（小红书）

A策略：100%兴趣预选

B策略：80%兴趣预选+20%随机内容

当前对于任何一款个性化内容APP，给用户的推荐都涉及到大量的算法策略型AB测试

一般而言：AB两个组样本都要在10万以上才可以初步看数据。

实际工作中的问题

在严格模式下，所有的专题报告落地项（除了明显的bug修复和明显的用户体验），都要考AB测试展开，然而，分析师经常会遇到这种问题：

2个月前产品上线了短视频功能，两个月后，大盘略涨（之前是略跌趋势），短视频和非短视频的数据增加也明显，现在短视频业务方希望分析师能量化出：大盘的上涨主要是因为短视频带来的。

有些分析师的思路：同一批用户，在试用短视频前后的数据对比

针对这种问题：只能靠AB去解决，在上线短视频功能前就应该AB，否则后面怎么都说不清。

数据分析师在AB测试中需要注意什么：

A、AB两个组是否真的相同——研发负责搭建，但分析师要直到大概原理；

B、策略是否生效——研发说进行了AB测试，但分析师要去抽样看；

C、AB测试评估指标体系——要在AB测试之前，就与研发沟通好要看哪些综合性指标

D、多观察几天数据——往往前几天数据可能有点问题，一般3天后数据才可能正式使用；

E、AB测试的存档规划——所有AB都要文档化，方便后续找增长点。

策略是否生效

常见现象：

产品经理根据分析师的专题报告落地项X，进行某个AB，最后发现效果不明显，此时所有人都觉得X这个优化项没用，也就没有多去做更多尝试；

分析师：痛仰要去对AB组进行抽样，看B组（实验组）的用户是否真的上线了X优化

多说一句：AB测试系统本身就很复杂，出问题是很正常的，我们不一定要很了解内部详细原理，但是要知道有没有明显问题。

评估指标体系：在AB测试前，就要考虑好最终要用哪些指标来评估效果，最好是能设计出一套综合性指标体系，后续做实验直接看报表数据即可，不用每次单独建表。

格式举例：实验策略、用户数、实验时段、次留、时长、点击率

AB测试存档

分析师要定期复盘做了哪些AB，与其效果和实际效果，这个也是落地项的闭环

建议采用5W1H方法来管理AB测试

AB测试项、具体内容、为何测试、测试时间、测试负责人、预期效果、实际效果

思考：

对于设计师：设计思维+AB测试，无论是效率上还效果上，都是极大地提升

对于产品：直觉是不靠谱的，AB测试的闭环能够让我们更好的去理解用户；同时要通过AB测试去总结出，我们的用户到底喜欢什么样的策略和界面，让AB测试本身自我迭代；

对于分析师：

对大多数改动都不会带来大幅效果提升，AB测试旺旺效果都是略好，所以要持续迭代，如果某个实验效果非常好，这个时候就要非常小心了。

所以专题分析也是一个持续的过程，越来越深入，越来越了解用户和产品。

前期准备：

在正式写SQL之前，要花1天时间去做一下几件事

A、哪张表、哪份日志

B、筛选条件

C、之前有什么坑

D、现在是否有坑：select*,先跑一个核心数据看下

对数据有一点感觉得基础上，再把问题的拆解模块构思一次，哪些点不好做，有个预期。

集中时间和精力：

首先要有这种意识：当前最重要的事情是SQL提数和分析

A、 早上一定利用好，早点到公司

B、提前了解好会议主题，确定是否参加

C、中间所有进来的插队需求，先靠边站

D、晚上回家时间、周末时间

E、专注！别人不好意思打扰。

遇到坑：

一定要稳当详细记下来

A、让团队其他人知道，节省团队时间

B、每月总结的时候，直到自己在哪块花了大量时间，为后续做分析节省时间。

找到本质问题和逻辑树拆解：

1、这些知识点怎么用

A、 先分享：分享给别人后，别人会有不一样的理解疑问和新想法，会增强我们的认识程度。

B、再使用：每一节课的内容都只是老师经历的一个沉淀，每个人都要结合自己实际情况去使用，而只有多和同事同学交流，你才能督促自己去对每个知识点进行更深入的理解。

用户增长分析：

用户增长基本模型

获取、激活、留存、变现、推荐；

拉新、使用、再使用、商业化、分享传播；

这种模式需要不断烧钱，目前来看有问题；

优化模型：

留存-》变现-》推荐-》拉新-》激活

先把产品打磨好，运营服务号，挣钱再投入带渠道去拉新，这样会更加靠谱，人傻钱多的时代已经过去；

如果一款产品在中汽还要靠不断注水才能保持规模，这样的产品是有几大问题的，这样的团队也是非常不靠谱的，只有早点转型做好留存才有希望。

未来可能会这样

变现-》推荐-》拉新-》激活-》留存

A、在资本越来越理性的情况下，从流量思维切换到ROI思维，活下去是最重要的指标

B、侧重点不同，企业打法完全不一样

C、这套模型还可以怎样？

渠道思维、产品思维、投资回报率思维。

最好是这样：

A、不要纠结什么模型和玩概念；

B、不要指望通过数据分析突然找到一个牛逼增长点，带来大量用户增长；

C、如果有大腿可抱，一定要坚决抱大腿

D、研究自己的产品、用户，找到当前产品真正存在的问题，慢慢去解决它，建立自己的产品壁垒

E、学习优秀产品的玩法，思考他们能成功的本质，比如QQ浏览器和腾讯视频为何能后来居上。

其实：分析师的任务就是做规模和带收入，一直没变，一定要独立思考，不要被各种风带偏；

营销活动分析

数据分析师：活动期间每天进行效果播报+活动后1-2周内报告产出

1、活动参与人数

2、拉新数

3、用户画像

与营销活动运营对比，分析师的优势在于快和维度拆解性，劣势在于细节性。

营销活动的理解：

营销应该是一件长期的事情，不可能通过某一次活动就能带来大量的用户增长，因此分析师在做这件事时，要保持：

1、分析的连贯性：活动前、活动中、活动后

2、分析的对比性：活动与活动间对比，什么样的活动比较适合产品本身

3、分析的公正性：该怎么样就怎么样，拉新、促活、品牌的评判都应该有一套商定好的标准

营销活动分析无非就两件事：活动效果评估（本活动，及其和其他活动对比）和活动优化建议。

理一理

在做任何活动之前，活动运营方必然要出文案，找开发、商家合作，所有这一切都会很早发生，因此分析师要想真的做好这一块分析，在这个时候就要多余活动运营方沟通，直到大概是怎么回事。

A、谁开发，靠不靠谱

B、活动形式及测试体验，文案可能存在问题

3、大概哪些指标，提前想一想；

活动前好好准备——前1-2周

A、和运营方商定本次活动的目标—一定要有目标，没有目标不是一个号运营，你绝对不会使出100%的利器；这里能很好的培养业务的敏感性

B、和研发沟通好埋点—不是每一个研发都很靠谱，即使很靠谱也可能犯错误，埋点这件事上就应该是分析师来主导，包括字段名、埋点位置、上报方式

C、搭建好指标体系和报表—提前做好，活动前1天才发现问题的情况太常见

D、定海输出格式—活动中、活动后每天输出哪些数据，什么形式

竞品分析的目的

你当前是行业老大，这时候肯定会防止外来者和警惕老二老三；

你当前行业老二，肯定要看老大最近在做什么，模仿超越；

你当前是行业老三以后，一方面肯定要紧跟老大老二，另一方面要放大招；多以很自然的就要去分析竞品；

波特五力模型：

            潜在竞争

上游---行业内部竞争---下游

            可替代品

工作中竞品分析的场景

1、准备进入某个行业时，需要先把该行业的竞品分析清楚——侧重行业规模和前景；

2、产品的发展处于下降阶段，需要看下竞争对手在做什么——侧重头部玩家的玩法分析；

3、产品的发展处于瓶颈阶段，需要看下竞争对手的数据和功能迭代——持续监控对手数据，寻找突破；

4、产品发展处于快速上升期，一般不做竞品分析。

对于一款APP，要在初期就监控好竞品的各项数据，分析师要每天都看竞品数据，只有这样，才能保持对竞品数据的敏感性，同时跟自身APP数据结合起来思考。

什么是竞品分析？

竞品分析绝不是大而全的竞品功能罗列一遍，这个是最初级的产品体验分析，同时也不算是日常的竞品数据监控，配置一张表就完成。

竞品分析包含2个点

A竞品的选择：哪些才是精品，不要小看这件事，很多产品经理没想清楚

B分析什么店，这就需要直到分析的背景是什么，从而有针对性切入。

第二点最关键，到底你得leader想干什么，如果这件事他自己也说不清楚，那最好先别投入太大量的时间去做。

竞品分析的步骤

1、明确目的：目的是什么？

A、尝试进入某个新的行业，需要评估可行性——唯品会做唯品金融；（这种分析更加偏行业趋势、市场规模、财务收入，看大数不拘于小节）

B、纯粹看竞品的功能、玩法和数据，学习有点、人无我有，人有我优——学习为主；

C、通过看竞品的不同版本迭代的功能、玩法和数据，揣摩竞品想干啥——预防为主；

D、看竞品的版本迭代，思考竞品最近的战略中心在哪，旺旺是为了满足管理层的需要

2、挑选1-2家精品，进行对比分析（如何挑选竞品？竞品数据？寻找某个切入点：精品产品功能体验和运营玩法体验）

A、挑选1-2家真正的竞品：核心功能一样；

B、功能体验分析：不需要大而全

C、运营手法分析：某个功能的运营手法

D、宏观围观数据分析：数据源很关键（基础数据、财务数据、市场数据）

分析室牵头、产品运营协助的一项团队任务，可能还需要财务、市场部的参与才能完成；实际上，有时候也要对双方的技术实现做一些对比分析，这个就比较底层了。

这也必须是团队作战，一个人搞不出来什么。

3、给出初步分析结论（竞品分析一定要有初步结论；在这件事上管理层旺旺看得更高更远）尝试进入某个新的行业，需要评估可行性——是否可以进入，如何可以进入，如何开始做，SWOT分析；

纯粹看竞品的功能玩法和数据，学习有点；竞品什么功能好，接下来产品运营会如何去做，预计带来收益多少，产品运营参与很重；

通过看精品的不同版本迭代的功能、玩法和数据，揣摩竞品想干啥——竞品下一步战略是什么，我们要不要也做某种尝试，这是最难得。

优酷爱奇艺案例分享

背景：

当下小A负责优酷APP会员模块的数据分析师，Q3嫉妒优酷会员增长乏力，而爱奇艺会员仍处于告诉增长阶段。管理层希望能对爱奇艺会员进行一次分析，学习爱奇艺会员的有点，提升优酷会员数。

分析的目的和对象都很清晰，并且产品运营都参与这件事，最终很好落地。

竞品分析一定是最需要你外部参与方协才能完成的，不只是分析师一个人搜集点资料就完事；实际上一个人闷头闷脑的在那干这件事效率会很低。

A、基础数据对比

数据来源：google,baidu questmobile，百度指数

数据只是一个参考，关键是你想看的这些数对后面分析有什么用，这里着重看画像，就是看两部分群体是不是比较类似，如果类似，学习他人的”优点“就可以。

爱奇艺会员数明显占优。

B、产品对比

产品对比的方法很多，一般是先画交互流程图，然后再体验产品模块，优点是大而全，缺点是在有限时间内不一定能得到结论。实际工作中还是要交给专业产品来做，分析师来做可以提供一种方法——用户视角。

C、运营对比

产品：生孩子

运营：养孩子

数据分析：持续观察孩子成长阶段的各个指标，保证他健康成长

所有的运营归根到底都可以理解为用户运营；提新增、拉留存、降流失，这就是广义的用户运营概念

旺旺需要产品内容和产品活动的支撑来喜阴用户

内容运营：通过内容来吸引用户，老师这门课本身就是内容运营

活动运营：通过做活动来吸引用户，APP抽奖活动

举个例子：目的是通过优化渠道来提升新增用户数，那么就可以优化渠道文案、在渠道侧做一些活动激励。这就是通过内容运营、活动运营来达到最终用户运营。

运营对比：用户、活动、内容

竞品分析落地方案：

在已经搞清楚了我们和竞品的差距点后，就可以找产品和运营落地了，到这里，竞品分析的目的已经达到了，只需要执行就可以了，如果这些基本的功能模块迭代都是先不了，那种战略性的方向调整，基本上和分析师就没什么关系了。

落地项、具体方案、跟进人、优先级、预期上线时间、预期效果；

在落地这件事上，分析师要充当先锋角色，实际上第一次非常重要，尽最大努力去推动这件事。

路径分析定义：

漏斗模型是非常经典的一种分析方法，但所有漏斗都是人为假设的，也就是事前假设一条关键路径，时候看数据。

随着各类APP的功能模块、坑位越来越多，用户的行为越来越分化，这个时候就要在用户的所有操作行为中，发现一些产品设计初可能不知道、但非常有意思的用户前后行为，这就是路径分析。

漏斗分析：认为设定一条或者若干条漏斗：先假设，再有数据验证。

路径分析：基于用户的所有行为，去挖掘出若干条重要的用户路径，通过优化界面交互让产品用起来更加流畅和符合用户习惯，产生更多价值：现有数据再验证假设。

以美团为例

美团APP主要功能有：

搜索、美食、电影/演出、酒店住宿、休闲娱乐、外卖

很优惠、有格调、秒杀、周末去哪儿、猜你喜欢

附近：里面还有很多功能

发现、订单、我的

大多数APP都是这种坑位，把能做的都做了；

漏斗分析完全满足不了日常分析，这个时候路径分析就派上用场了；

日志介绍：

日志：用户在APP内所有的行为都是以表或者文件存储的，记录了用户最详细的行为信息。

路径分析是基于时间序列的用户前后行为关联分析，所以都是基于底层日志来做

Key-value格式

imei='100086110001', ip='10.10.10.10', neicun='4G', fenbianlv='720*1080';

jixing='huaweiP8',xitong='android 6.0', event='tuijian', active='sousuo', ver='11.0', sver='1', op_tm='111110200321'

设备号、机型、内存、分辨率、具体行为、具体行为事件、单挑记录内、分隔、记录间行分隔

要知道日志的格式，这块操作耕读偏linux命令，会基本的linux就行

路径分析步骤

1、筛选：所有功能用户的量级查看，筛选出重要功能；

2、日志关联：先时间序列排序用户行为、再关联功能间数据；

3、标准化及画像：数据标准化及路径画图

4、启发：找出有意思路径；

背景：

有了指标体系和报表后，最重要的事情就是每天看各种数据到了，也就是流量分析

流量（用户）分析的定义：这里的流量是广义流量，从哪里来，经过什么，产生什么价值，如果它波动了，为何波动

1、渠道分析——从哪里来

2、转化分析——经过什么

3、价值分析——产生什么价值

4、波动分析，包括日常监控分析

一、渠道分析：

1、常见渠道及其分类

内部渠道：如：产品矩阵：头条给抖音带量

外部渠道（付费）：搜索引擎：百度；APP广告：头条内推京东双11；社交媒体：微信朋友圈广告；软件市场：应用宝、华为手机市场；

对于一款健康的APP，前期靠渠道要特别是外部渠道的品牌带量，后期靠自传播或者免费推广，一般都会单独有渠道运营经理，其实分析师在这块价值不大；

2、渠道推广的整个过程：

外部渠道->文案展示->落地页->下载->打开->浏览->注册->……->退出；中间可以优化

3、渠道的关键指标及分析方法

关键指标：前期看有效用户数和次留，中期看次留、7日、30日留存，后期看ROI

有效用户数：由于渠道都是收费的，所以会有刷量的先易，所以除了看直接量级，还要看有主动行为的用户数，比如之前课程里讲得停留大于3秒的用户数；

渠道最终的目的是商业变现，所以一定要计算每个渠道的ROI，把ROI小于1的渠道砍掉；

分析方法：结构分析+趋势分析+对比分析+作弊分析

结构分析：对渠道首先按照以及渠道来拆解，在按照耳机渠道来拆解

趋势分析：看每个渠道的变化趋势，包括量级和存留

对比分析：不同渠道间的趋势对比

作弊分析：用户行为分析+机器学习，这块可以用Python来完成；

转化及价值分析

1、漏斗分析：

针对需要提升的某一步，核心思想都是用户细分；按照用户基础属性和行为属性来拆分

基础属性：手机品牌、低于、imei特征

行为属性：入口、时段、用户活跃度、用户标签

对有问题的群体进行针对性优化—精细化；

2、功能模块常规分析：

常规分析：

4、功能模块价值分析：

5流量波动分析：

常见流量分析就是两个：日活和留存，所以就围绕这两个点来展开；

日或波动=外部影响&内部影响

外部影响：

=行业变化&精品变化=常识+外部事件+精品策略

内部影响：=数据统计+用户基础属性+用户行为属性

数据统计：书有没有搞错——数据采集和统计口径

用户基础属性：用户从哪里来，通过什么方式进入——渠道（新增用户变化）、入口、画像

用户行为属性：用户进来干什么——具体功能的变化，跟版本可能有关。

留存分析

留存波动=新用户留存&老用户留存

新用户留存=渠道+渠道过程有关

老用户留存=所有功能用户去重留存+ 大盘非功能用户留存

=各功能留存（A、B、C……）+大盘肺功能留存

十几种，会出现以下几种情况（假设留存下跌）

ABC中有1个留存下跌——最好解释

ABC中有两个以上留存下跌——看谁是主要下跌因子，找到他，

如果下跌幅度都差不多：

1、进一步观察，如果还是持续阴跌，必然是产品某核心部分出现问题，围绕指标体系做一次产品全盘分析，找到他

2、跌了几天之后回去了，可能跟外部影响因素有关，暂时不管

在留存这件事上，由于是比例，排查起来会比较费神，保持耐心，多跟也无聊，一定能找到主要影响因子。

指标体系的定义和选取原则；

定义：在业务的不同阶段，分析师千头、业务方协助，指定一套能从各个维度去反映业务状况的一套待实施框架

指标选取原则：根本性、可理解性、结构性

根本性：核心数据一定要理解到位和准确

可理解性：所有指标要配上业务解释性，如日活的定义是什么，打开还是点击还是进程在就行

结构性：能够充分对业务进行解读，新增用户只是一个大数，我们还需要知道每个渠道的新增用户，每个渠道的转化率、每个渠道的新增用户价值。

建立指标体系的四个步骤；

指标的构成

1、原子性指标：最基础的不可拆分的指标，如：交易额

2、修饰词，可选，如：某种场景，如：搜索

3、时间段，时间周期，如：双11

4派生指标：双11这一天通过搜索带来的交易额

次日留存、日活、月活、日转化率；

指标体系建立四步法：

1、厘清业务阶段和方向；

业务前期：创业期；

关注：盘子大小

此时，最关注用户量，吃标体系应该紧密围绕用户量的提升来做各种维度的拆解，如：渠道；

业务中期：

盘子大小，健康度；

除了关注用户量的走势，更加重要的是优化当前的用户量结构，如：用户留存，如果留存偏低，必然跟产品模块有关系，是不是某功能流量承接效果太差。

业务后期：成熟发展期

收入及市场份额

成熟发展期，一定要看收入指标，各种商业化模式的收入，同时做好市场份额和竞品监控。

2、确定核心指标；多去了解业务和市场头部玩家

最重要的是找到正确的核心指标，这不是一件容易的事，不是因为这件事很难，而是让所有人都去重新接受一些客观事实很难。

举例：某款产品的日活口径是打开APP，通过不断地买流量，日活也一直在上升，然而分析师发现，打开APP用户中，3秒跳出率达30%，非常不健康，那么当前的核心指标——日活实际上已经有问题了，更家豪的核心指标是停留时长大于3秒的用户数

每个APP的核心指标都不太一样，所以一定要多花时间去考虑这件事，这个非常重要，不只是看日活和留存那么简单（趣头条）

3、核心指标核心维度拆解；

核心指标的波动必然是某种维度的波动引起，所以要监控核心指标，本质上还是要监控维度核心指标；

通用的拆解方法都是对核心指标进行公式计算，再按照业务路径来拆解

当前的核心指标是停留时长大于三秒的用户数

停留时长大于3秒的用户数=打开进入APP的用户数*停留时长大于三秒的占比

打开进入APP的用户数这块要关注：渠道转化率、打开方式、用户画像；

停留时长大于3秒的占比这块要关注：停留时长的分布，停留大于3秒的用户特征和行为特征；停留小于3秒的用户特征，有无作弊的可能。

4、指标宣贯、存档、落地

宣贯：搭建好指标体系后，要当面触达所有相关的业务接口人，最好开会并邮件；

存档：同时要对指标的口径和业务逻辑进行详细的描述存档，如：***功能的渗透率=该功能的日奠基人数/日活。只有到这一层，后面的人才能一眼看懂是什么意思。

落地：就是建核心指标的相关报表了，实际工作中，报表都是在卖点前建好的，这样的话一旦版本上线就能李可看到数据，而且这个时候各方的配合度最高。

数据分析师经常抱怨临时提数要求太多，就是因为指标体系没做好。

五、知乎 APP指标体系实操；

1、当前业务发展阶段

知乎当前处于业务发展期和成熟期之间，2个论点

A 当前纸糊的业务正在一个快速调整期，内容向娱乐大众化转型

B 商业化进行较大探索，但不是做的很重

也就是说无论最核心的内容还是商业模式，都在探索当中

实际工作中，这块只要看一下每年的业务规划即可得到答案。

2、对于首页推荐子产品最重要的就是问答数

问答数=提问数+回答数=提问人数*人均提问数+回答数*人均回答数

提问人数这里是否有必要按照漏斗模型来拆解？我的理解是不用；

提问数=提问人数*人均提问数

提问数继续拆：提问人的画像、提问人的漏斗模型

提问人的画像：渠道、个人资料（是否大V）、知乎盐值

提问人的漏斗模型：进入、点击、提问

人均提问数可以拆为：人均提问数分布：只有1次提问的人数占比

提问种类分布：娱乐类提问、体育类提问、学术类提问；

整个过程是跟业务进行大量的交流，同时要有自己的独立思考；

3、核心指标拆解

有些同学聚德评论点赞收藏是核心指标，实际上是这样：

评论点赞多跟产品的健康度没有直接关系，评论点赞多的本质是因为提问回答比较精彩，这是一个相关性而不是因果性关系

很多做内容的同学，都觉得评论很重要，只要我评论做上去了，日活就能涨上去，数据相关性上就是这样，但业务逻辑性不对；

所以评论点赞收藏这些都是一个二级功能，更底层的理解实际上是增加APP的社交属性。

4、会议、存档、建表

会议：产品（负责使用）、研发（负责打点）

存档：对不太好理解的指标要进行单独解释，比如什么是日活

建表：确定好打点之后，就要建表，确保数据第一时间出来，能及时发现问题；

字段：是否大V ；-》业务语言：粉丝数超过1000人；-》技术语言：Action日志中Follow_uv>10000；业务人员：小A；研发人员：小B；

实际工作中，不需要一套大而全的指标体系，只需要围绕当前的核心指标，解决最重要的问题即可；

针对一个陌生行业的数据分析需求，我们如何去入手？

例：原始需求

提供门店信息表（省份、城市、门店编码、大区、销售目标）

产品信息表（产品编号、产品名称、品类、单价、产品经理、销售目标）

销售经理表（包括销售经理、大区、销售目标）

销售数据表（包括年份、月份、门店编码、产品编码、销售金额、订单数、销售数量、单价、客单价、省份城市大区）

人无需求

一、2016年全国销售状况报告（1月—7月）：

1、目的：展示2016年全国的销售情况

2、未读：细分未读包括但不限于时间、地域、产品等；

二、2016年全国销售状况导出的框架图片（1月—7月）

1、展现形式：Xmind导出的框架图片

2、目的结构化展示报告的整体逻辑

需求解读

原始需求往往是模糊的，但是：分析师不要带着不好的态度去推脱业务的需求，应该跟业务良好沟通，有些业务就是表达能力不太好；

销售行业的核心指标就是销售额完成率：按照正常业务理解进行围堵拆解；

销售额完成率包括：区域完成率、门店完成率、销售经理完成率，个指标分为产品和时段2个维度。

提炼如何去分析一个陌生行业

感到无从下手是因为：1、没有找到切入点；2、没有具体生动的案例；

1、厘清业务模式（知道在干啥）-》寻找北极星指标（最重要的是什么）-》主体纬度拆解分析（具体案例）-》小发现大猜想（发散收敛）->数据验证（闭环）

大数据的4V特征：

1. 数据量大
2. 数据种类多：
   结构化数据（mysql）；
   非结构化数据（音频视频：HDFS/MR/HIVE);
   半结构化数据（XML/HTML: HDFS/MR/HIVE);
3. 速度快:
   增长速度快
   处理速度快（实时、离线）
4. 价值密度低
   价值密度=有价值的数据/ALL
   价值高
   机器学习算法解决问题

游戏数据分析需要兼具互联网思维（电商）和金融思维

重要指标理解——常规指标：

DAU, WAU, MAU

一个产品的日活、周活、月活

以欢乐斗地主为例，日活是每天打开该APP的用户数；

留存率：一般看次留、7留、30留存率

次留率：第一天打开欢乐斗地主并且第二天也打开欢乐斗地主的人数/第一天打开欢乐斗地主的人数

渗透率：某功能模块的使用人数/该产品的日活

欢乐斗地主商城渗透率：进入商城的用户数/DAU

转化率：针对某个连贯路径，使用下一个节点的用户数/使用上一个节点的用户数

打开APP—进入房间—参加比赛

MAU指用户规模

重要指标理解——商业化指标：

ARPU

一个时间段内的每用户平均收入

ARPU=付费金额/活跃人数

欢乐斗地主付费金额200万，活跃人数100万，每个用户平均收入2元；

CPM

千次曝光的成本

CPM=（广告投入总额/所投广告的展示次数）*1000

例：某广告主在欢乐斗地主的闪屏界面投入一个广告10万，共1000万次展示，CPM=10

CPC

每个点击用户的成本

CPC=广告投入福总额/锁头广告带来的点击用户数

某广告主在欢乐斗地主里面投了一个闪屏广告100万，共产生点击50万，CPC=2

ROI

投资回报率

ROI=收入/支出=ARPU*用户数/所有支出

双11在欢乐斗地主内部投放一个广告100万，最终带来收入200万，ROI=2.

用户流失分析：

定义要准确，不同产品设定的时间段不同

欢乐斗地主用户流失分析：

对于游戏行业的用户流失分析，即有其他行业的累死套路，但又有一些差异化很大的点

累死套路：看流失前最后一步在干啥

差异化很大的点：作为一款非常复杂，需要花用户大量时间的APP，分析师需要想好研究用户为何流失，也必须要去很深入的玩游戏，找到游戏中的快感和痛点，跟其他玩家多交流，否则就脱离业务。

授信模型：

芝麻信用分结构：

身份（who): 小学毕业还是博世毕业—稳定性

履约能力（what）：有没有房车—兜底性

信用历史（when)：信用卡有无逾期—历史性

人脉关系（who)：你得支付宝朋友是不是土豪—稳定性验证+弱价值性；

行为偏好（what)：喜欢买奢侈品还是地摊货—真正价值

数据源

数据并不是越多越好。

数据变量分为：原始变量、衍生变量

原始变量：直接存储在数据库里的基础变量，如你每日交易额

衍生变量：因为金融的本质是风险，所以都要队员是变量进行加工转化，一般是三种

1、时间维度衍生：最近一个月交易额、最近三个月的交易额

2、函数衍生：最大交易额、最小交易额、交易额方差

3、比率衍生：最近一个月交易额/最近三个月交易额

在选择变量的时候：基于RMF原则，即最近、频次、钱，所有跟这三个属性相关的变量都要先保留。

数据处理

服务与业务，初期都比较简单，慢慢迭代。

字符串数字化

数据标准化

建模前的思考

由于身份特质、履约能力、信用历史、人脉关系、行为偏好5大模块在不同时期的权重不一样，所以每个模块都要单读建模；

在建模前，一定要把业务目标先理一理，这样才能找到用什么模型；

就芝麻信用来说，我们的目的是希望根据用户在这5个模块的综合芝麻分来给用户一些其他额外服务，比如花呗借呗免押金，同事保证用户不违约。

因此逻辑上就是：

根据用户的数据，算出违约的概率，而这个概率也可以转化为用户的分数

所以逻辑回归模型就自然而然涌上了。

总结：授信模型：数据源、数据处理、数据标准化、数据建模、模型落地、模型优化，这一套数据分析标准化流程非常像，模型最终的评估指标就是坏账率。

数据建模师：数据源在前期就已经决定了模型的效果，要具备良好的沟通能力和快速反馈能力，金融行业本身比较成熟，比模型更加重要的是分析师自身的想法和验证。

在前期重点是围绕数据源和数据处理，模型，无论是逻辑回归、决策树、GBDT、随机森林、神经网络，问题都不会很大，与纯互联网行业对比，金融行业数据建模师的价值更容易得到体现，而且相对更有趣。

一、如何去看京东App

1、京东App用户视角：

搜索：流量最大的一个入口

广告banner：各种宣传活动

导航：十宫格，相对比较稳定，10大主要产品

Feeds流：电商+内容

个性化推荐：千人千面

底部button：5大主模块，方便快速查看

2、京东APP分析视角

作为一名分析师，应该更能深入，并且有层次性的去看这个APP的数据

有三个为题需要思考；

1、引流（场）：首页作为最大的带量位，分发效率怎么评估；

2、漏斗（货）：北极星指标交易额知识一个数字，更加重要的是理解这个数字转化的过程；

3、用户（人）：作为一款非常成熟的APP，老用户相对比较稳定，但新用户获取应该怎么优化。

其中引流是对APP整体的分析，漏斗是对核心路径的分析，用户是对产品的当前痛点进行分析。

二、首页的分发效率

除了要关注日活、留存、渗透率这些常规的指标外更加重要的是找到一些能够反映产品问题的指标

CTR：点击UV/曝光UV，反映用户点击渔网的指标，非常重要，只有点击才能产生交易，如果较小，首页问题较大；

人均访问（点击）页面数：总访问页面数（PV)/总访问UV，只有多访问页面，才可能产生交易

围绕这两个指标，按照未读拆解方法，可以发现很多问题

比如CTR突然低了，那么是所有坑位的CTR均低还是个别引起。

分发效率总结：

基于日活、留存、渗透、分发效率，基本上就能够对APP的整体数据有个大概了解；作为一名优秀的分析师，除了要把自己负责的产品做好外，更重要的是不要设定边界，主动去了解整体数据，在这个过程中，你需要找到负责的产品跟大盘的数据关系。

找到：业务功能与产品核心指标的关联性，量化、量化、量化

1、该产品确实很好的带来了大盘的提升；

2、该产品只是在强大盘的流量；

3、该产品部分抢大盘流量，部分提升，那么提升度到底多少；

三、绕不过的漏斗分析

背景：了解完整体数据后，看具体细分数据，虽然整体APP坑位很多，但一切都是围绕交易额这个目标，而电商交易额的本质是转化率，所以任何一个坑位都绕不开漏斗模型

在所有坑位中，搜索是最大的一个流量入口，因此以搜索为例

搜索主界面全部UV-》店面页UV-》详情页查看UV-》加入购物车UV-》提交订单UV-》收银台UV-》成功交易UV

作为一名分析师，一定要多体验产品，找到新认知，这也是微观能力

了解每层漏斗的影响因素

1、请教老同事；2、买电商书籍回来看；3、多机型体验产品；

搜索主界面全部UV：引流渠道：桌面图标打开进入搜索还是其他

店面页UV：搜索框搜索、热点搜索、语音搜索

详情页查看UV：客服、评论、店铺设计、商品属性；

加入购物车UV：尺寸、颜色、数量

提交订单UV：物流、是否只是7天无理由退货、发票、运费

收银台UV：支付方式多样性

交易成功：密码错误、冲动消费、界面异常、其他打断

四、新用户分析

背景：作为一款非常成熟，在一线城市有很多忠实用户的APP，当前在用户体量上与手淘相差仍然较大，因此我们会看到京东与与各方APP战略性合作，共同拉新。

拉新必然就要衡量拉新效果和拉新优化，拉新效果内部数据不太清楚，但是作为一名分析师，可以去看整个APP在拉新上可以优化的店。实际上拉新如果做得好，比老用户分析更容易出成绩。

新用户分析建议：

新用户与老用户相比，由于对APP不熟悉，因此在漏斗环节，可能会有几个特征

1、用户行为较为离散化，数据上可能有几个主要漏斗；

2、在某个环节转化率远比老用户低

3、新用户当天以逛为主，不下单，过一段时间后再下单；

数据分析师能做的就是：把自己当做一个新用户去体验各种路径，并对异常漏斗进行拆解（比如：是不是某个渠道的新用户转化率低，引起整体低）

美团外卖近期订单量下降5%，需要分析师给出一些解释并提供下一步建议；

参考答案：

订单量下降5%属于什么水位，影响范围多大，如果发现对收入有重大影响，那么这个时候CEO都会关注这件事，所以就要更加全面的去考虑这件事。（投入100%时间）。

具体分析模块：

流量波动模型

1、常识判断-》节假日；

2、竞品数据-》饿了么数据大涨；

3、外部事件-》社会负面事件；

4、产品变化-》产品发布新版本，功能有缺陷

5、用户行为-》订单地域分布；

6、数据问题-》数据采集；

流量波动也可能是作弊

常用的3个APP-分析师的思考深度怎么样？

这里的建议是：说跟应聘岗位相关的APP，比如应聘的产品是QQ音乐。这个时候你就可以说常用的三款APP是网易云、微信读书、知乎、尽量透露一些你的亮点；

面试官会进一步问：就网易云来说，能不能说下你对这个产品最喜欢的点，以及最想吐槽的点—是不是高于普通用户；

回答：最喜欢网易云的每日推荐，最想吐槽的点是：很多时候是通过搜索来选择听某歌，但是搜索栏里没有语音输入，同时下面的热门搜索跟我的画像非常不准，都不是我喜欢的，那些歌、明星可能我都没听过——已经有了自己的简洁，不只是简单的使用产品而已。

面试官再问：好，那么如果你是产品经理，你会如何解决这个问题？回答：先看热门搜索的点击率是多少，如果较低的话就说明确实有问题；可以把热门搜索这块和用户画像匹配上，实现千人千面，同时在搜索栏增加语音输入功能。

面试官再问：怎样评估这样做是否能带来指标的提升？

答：这种先开始小流量AB测试，然后再睡慢慢放量，如果效果不错，就全量。

面试官问：能不能说下你对AB测试的理解，如正交性；

问题三：商业化变现—对商业的最终目的是否敏感

举例：能不能举例一款工具类产品，说说是如何商业化的；

回答：以墨迹天气app为例，首页天奇button是主流量入口，进行底部下拉时会出现资讯，而在资讯里面有较多广告app下载链接，所以这是一个app带量商业化

时景button，内部有较多旅游景点、住宿、住宿类app下载推荐，所以这里是一个资深app高相关商业化推荐

Me这个button，分生活、娱乐、休闲、游戏四大板块，而每个模块都有自己的商业化坑位。

面试官问：目前产品的主要商业化收入来自哪里，各自CPM大概多少

回答：主要来自时景button的旅游景点推荐，cpm大概在6元

面试官问：当前产品商业化提升的腾点是什么，之前做过那些优化方案，效果如何？

回答：作为工具类产品，用户停留时长较短，这是最大痛点。作为一款天气app，我们发现我们的用户周末效应非常明显，周末用户很多，所以当时就想我们存在一批用户群（所有的商业化都是先找一个切入点），在周末的时候就会出去游玩，加上后来的调研，发现果然是这样，所以我们就跟这种旅游景点合作，做线下场景推荐，效果现在也是最好的。

数据分析业务线的考量标准：

产品理解能力：各种数据熟悉度、用户从哪里来，进来后做了什么，用户反馈最多问题是什么，竞品数据怎么样

分析方法论：常见分析方法有哪些，ab测试，最大概率法则，28定理，幸存者偏差理解怎么样

可视化能力：ppt工地怎么样，专题报告逻辑性、金字塔原理、审美怎么样

演讲能力：表达能力、讲故事能力、形象化能力、大心脏能力怎么样

协作能力：跟产品、业务、研发沟通时的软技能、如何在团队中定义好自己的位置并让其他人很舒服

逻辑思维：分析推导过程的全面性、合理性、价值性

技术：excel的常见操作方法、SQL能不能闭着眼睛斜，r能不能搭建模型冰之岛哪些是坑，Python是否能很好的用上。

优化自己1

比如小A发现自己在可视化、演讲、写作上还可以，但在产品理解、数据分析方法论上不太高，因此就要补上这两个短板。

产品理解：

先以当前业务的产品为切入点，先熟悉最核心数据，再了解功能渗透率和关键路径；再以这些数据为切入点，去思考当前产品有哪些问题，并与产品经理沟通如何优化。同时要去看竞品和行业数据，最重要的是深入了解而不是略懂。

举个例子：假设当前的产品app是食品类，那么肯定要深入研究爱奇艺、腾讯、优酷这三个app

略懂：通过搜集网上数据，直到dau\mau\核心功能，整个行业大概规模。

深入了解：对于整个视频行业，各个不同阶段的领头羊是谁，他们依靠什么成为领头羊，又因为什么出现增长瓶颈，当前各自的打法侧重什么，对我们自身的app有什么借鉴，后续要监控哪些数据，只有到了这一步才是你自己的洞见。

优化自己2

方法论：能快速从一个较全面、逻辑性、价值性的角度去分析，而不是单点无架构性分析，所有方法论都是通过不断提炼、总结、实践得出来的。这个是评估一个分析师水平的重要标准。

1、指标体系方法论；2、流量分析方法论；3、路径分析方法论；4、产品分析方法论；5、营销活动分析方法论；6、用户流失分析方法论；

4、寻找对象并实践

挑选3家一般公司——面试训练

挑选2家规模比较大、知名度较高的公司——保底要进

挑选两家业内知名公司——尝试

设定一个跳槽时间段，比如3个月，期间最重要的事情是瞄准那两家保底要进的公司。注意：鱼油这两家是你职业生涯的一个转折点，所有简历要单独写，要花几天时间不断去打磨。

每一次面试后都多总结，找到自己的不足并多训练

最后就是面试环节，最重要的是表达、表达、表达。所以真正的面试时间是非常长的，前期的准备是要花几个月的时间，只有这种训练才能有优秀的企业要你。

数据异常排查：

前期：

理解业务。指标口径。产出过程

中期：

判断是否异常：

1. 异常
2. 近期、历史（时间轴）
3. 关联指标知否也异常

最大概率法则归类：

1. 假期效应；
2. 热点事件；
3. 活动；
4. 政策；
5. 底层系统故障；
6. 统计口径

闭环：需要有后期验证：

1. 后期跟踪数据
2. 文档化
3. 邮件化

招聘解析：

去除神秘感

看到差距

如何准备

阿里：对技术要求不高，对综合能力要求高；工作三道五年技术都差不多；

腾讯：用户增长；《增长黑客》

百度：用户增长；

日常主要工作：数据异常排查

融入专项背景KPI

数据异常排查：对数据波动进行排查解释；

1、目前数据本身有问题；二、业务有问题；

前期准备：

1、业务理解；2、指标口径；3、当前数据产出过程；

指标的业务含义；

异常排查的三个步骤：

1、判断是否异常；

亲自去看数据准确性，不要人云亦云；

时间轴拉长，看是近期异常（3个月），还是历史异常；

看和该指标关联的其他指标或者其他核心指标是否也异常；

找到一个关键人物（产品/数据），提前沟通一下

2、最大概率法则回归类：就那么几种原因，所以要沉淀，按照概率一项一项排查；

假期效应、热点事件、活动影响、政策影响、底层系统故障、统计口技

3、闭环：

持续跟踪后期数据是否在此异常；

记录、沉淀、文档化

邮件化：只有确认了没有问题再邮件，描述影响范围和主要结论即可。

融入专项—专题分析

项目组专题分析有三个特征：

有目标——紧贴项目KPI

有节奏——2-3周时间输出一份完整报告

有闭环——所有报告都说人话，办人事

融入专项——3各阶段

第一阶段：新用户留存整体分析

目的：摸清数据现状，同时找到若干切入点

关键点：不要太注重细节，该报告讲究产出的时效性，让其他人员感受到分析师的存在。

第二阶段：寻找优化切入点，一般是1-2个；

如：1、关键路径数据发现先曝光PV到点击PV的CTR很低，围绕这个点细致分析；对于新用户，应该曝光什么，在什么时候，什么位置曝光等等。

2、某个量大的耳机渠道次留明显低于其他渠道，围绕这个点，进一步分析；对于该渠道，用户留存过低是因为：本身渠道质量存在问题？用户已经安装竞品？当前产品设计与渠道用户不太匹配？同事高留存的渠道本身特征是什么？通过1-2，就已经能给产品运营不少建议了，配合AB测试，就能看到数据分析结果。

第3阶段：

不断的重复前面两个阶段，继续寻找其他切入点；

同时进行竞品分析、营销活动分析、用户流失分析等等；

除了寻找本身产品的切入点，还要跳出当前项目思维，进行竞品分析，活动分析等；整个过程就是在不断地“试错”，每一次分析报告都有能落地的点，并且真的落地了，这就是闭环，这也是优秀分析师最重要的一个评判标准；

面试技巧——最重要的是前3面

1面-电话面：简历上的数据要非常熟悉，说话有条理性和逻辑性，大心脏能力；

2面-boss1面：微笑、和蔼可亲，带上一份优秀的专题报告，准备一些技术。

事先了解应聘企业的APP，准备问题，问面试官；应聘大厂的人有很多，要让自己脱颖而出。

3面-boss2面：了解产品宏观知识，多用产品APP，一个代表性项目，要考虑的非常全面。

必问的三个问题：流量波动、三个常用的APP、商业模式；

from pyplot as plt 重命名，简化

numpy读取数据

np.loadtxt(frame,dtype=np.float,delimiter=None,skiprows=0,usecols=None,unpack=False)

转置t.T()

t1.reshape(1,24) #修改数组形状

t1.flatten() #展开 二维降成一维

t1+2 #数组每个值都加2 （广播机制）

0除以0得到nan（不是一个数字），其他数字除以0得到inf（无穷的意思）

t6+t5 #对应位置的数据计算