数据分析之埋点规范与埋点需求文档

浏览页面

点击页面

提交表单。。

获取用户行为数据

性别

年龄

地理位置。。

获取用户属性数据

物流数据

客服数据。。

获取业务运营数据

视频播放

主播直播

文章分享

获取产品内容数据

采集：多段数据采集，上报到服务器

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

构建统一的数据标准和ID体系

确保数据的稳定性、准确性、安全性

治理：规范ETL，构建统一数据体系，提升数据质量

针对用户行为数据打造通用的行为数仓

原始日志层：origin_log

原始数据层：origin_db

数据集市基础层：dm_basic

数据集市应用层：dm_xx

构建分主题域的离线数仓和实时数仓，确保数据稳定复用

存储：构建数仓，满足各主题场景数据的存储和查询

目标：挖掘数据价值为了能够将数据的价值更好的挖掘出来，我们会做好标准化模型建设，并依赖报表或者接口等产品能力输出数据价值

星型模型

雪花模型

CUBE模型

宽表模型

常见模型

建模：构建数据分析模型，支撑数据应用

用户分析：建设DMP平台、画像分析平台

用户运营：建设CRM平台

内容推荐：推荐系统

用户拉新：建设媒体投放平台

。。。

应用：建设数据平台，提供可视化、画像、个性化等能力

数据生命周期模型

经常漏掉关键信息

埋点命名不规范，导致他人无法理解

同类型事件的上报时机和上报格式存在不一致的情况

相同含义的参数名称和类型存在不一致的情况

通用行为的埋点没有复用，如每个页面访问事件都创建一个埋点

外框

管理数据埋点的价值与常见坑

用一个抽象的事件，概括多个相似信息，避免重复统计

1、抽象化

充分理解业务需求，提前考虑到所有具备分析价值的信息

2、完整性

根据业务目标，对重点关注功能，单独设置事件采集，避免全页面埋点

3、主次分明

定义明确，描述清楚在什么样情况下，出发什么事件数据的采集，记录什么参数

4、描述清晰

优秀埋点的四大特点

前端埋点与后端埋点的主要区别是事件上报的发送端不同

埋点的技术实现原理

为什么要管理产品的数据埋点

业务产品经理需要撰写业务需求和数据需求

业务评审

背景

目的

业务诉求

数据指标

埋点需求

埋点方案

第一阶段：需求评审阶段

埋点信息录入

埋点开发

埋点验证

第二阶段：埋点开发阶段

第三阶段：埋点发布阶段

如何设计埋点管理流程规范

埋点规范流程

页面埋点主要记录一个页面的用户访问情况，包括页面访问量(pv)、访问人数(UV)、访问时间、停留时间、页面路径等信息，从而判断一个页面的总体流量情况以及用户对于该页面的定位——是一个具有具体功能的操作页面还是一个用来进入具体功能的转接页面。完成页面埋点后，业务人员可以通过登录埋点落地的数据统计平台查看页面的访问情况。

页面埋点

事件埋点更关注针对某一个具体功能、模块、区域的用户访问情况，通过统计页面上不同功能区的流量分布，判断用户对于产品功能和内容的偏好，分析业务流程设计对用户漏损的影响，不同用户在APP中的使用路径，从而指导产品优化.

事件埋点

埋点数据的来源

手机号：实际能够接收到短信的手机号为准，但会因为需要接受验证码或要求登录从而对参与性要求较高。IP：当前用户访问页面时所在网络的IP地址，会因为切换网络或使用代理进行变更。Cookie：浏览器内保存的标识，包含用户私密信息，可通过服务器进行修改生成，但因大部分手机浏览器不支持而局限。IMEI：移动设备的身份证，具有唯一性。一般需要使用app去获取安卓设备的底层权限，网页H5获取使用，在iOS设备上无法获取。一遍手机都可以修改，需要获取root（最高）权限，在使用软件修改即可。DeviceCheck：iOS设备特有唯一设备码，之前使用uuid，但是因为苹果隐私问题iOS6后就禁止使用了。这个唯一编码只要不退出苹果ID并还原设备，就不会重置，唯一性较高。但是相同的问题，需要app去获取权限，很多H5并不支持。

记录UV的时候，我们是用什么来作为唯一凭证？

埋点需求文档是对产品需求文档中所有数据需求部分的细化，主要描述数据埋点的设计方案，目的是用于统计产品各项指标

应用标识

页面名称

埋点位置

事件标识

事件属性

子主题

埋点方案内容通常包括

埋点需求表实例

什么是埋点需求文档

通过阅读产品需求文档，理解产品背景、业务目标、业务核心诉求、产品核心功能

确定业务核心需求

按业务场景梳理用户的核心操作路径，深刻理解产品解决的用户需求

梳理用户行为路径

梳理业务流程

例：GMV

每一次产品迭代，一定有一个最核心的指标，通过分析需求，要把最核心的指标定下来

确定需求核心指标

例：访问店铺UV、浏览餐品UV、加入购物车UV、结算菜品UV、提交订单UV、支付UV

除了核心指标，还需要把该需求的相关指标确定下来，便于发现问题、定位问题、解决问题

确定需求其他指标

确定业务指标

第一步：分析业务需求

度量拆解：将复合指标拆解成原子指标，为埋点方案的设计做准备。如：支付成功率=支付成功UV/提交订单UV

维度拆解：确定指标分析的维度，支持指标多维分析的诉求，如：分析不同区域、不同店铺的支付成功率

根据第一步确定的核心指标和其他指标，对指标从度量和维度两个层面进行拆解

该指标表现很好，业务做什么

该指标表现不好，业务做什么

例子

指标设计原则：有价值，分析完后有下一步动作

评估指标价值

第二步：拆解业务指标

UID、手机号、身份证

人

Android：IMEI、IMSI、OAID、AnroidID

IOS：IDFA、IDFV、UUID

Web：cookie

设备

用户信息(Who)：描述用户的信息，如：用户ID（访问or登录）

埋点事件从触发到入库一般有三个时间，一个是事件触发时间，一个是上报时间，一个是入库时间

时间信息（when）:事件发生的时间

IP解析

GPS定位

地理位置

页面位置

URL

软件中的哪个页面

地点信息(where)：时间发生的位置

搜索关键词

搜索类型

搜索

点击URL、点击title、点击位置

点击事件

商品名称、类目、购买数量、付款金额、付款方式

购买

渠道来源

注册方式

注册

验证码登录

微信登录

QQ

登录方式

父页面

登录

文章ID

作者ID

分享渠道

是否成功

分享

内容信息（what）：用户做了什么样的行为

手机品牌

设备信息

浏览器

应用程序版本号

wifi / 4G

操作系统版本号

渠道信息

属性信息（HOW）：触发事件的方式

一条完整的事件包括4w1h

事件：采集SDK会将[用户行为]转化为[事件]，并上报服务端

第三步：设计埋点方案

撰写埋点需求文档四步走

埋点需求文档的撰写

数据分析之埋点规范与埋点需求文档