业务服务器(Spring boot)
ap
手机品牌
vn
flink core、sql消费
经度
uid
操作系统 mac|linux|windows
ba
datanode：11台
程序版本号
公共字段
namenode：2台
（业务日志数据）后端埋点数据
路线2：业务方直接调用接口将数据写入至kafka中，神策数据等业务场景
HIve (ods) 原始数据层(dwd) 数据明细层(dws) 数据服务层(ads) 数据应用层
前端埋点走向： （1.1）7日|30日|累计活跃用户数(uv量) （1.2）7日|30日|累加新增用户数 （1.3）30日平均每日使用时长（启动APP到APP退出） （1.4）30日活跃用户趋势 （1.5）30日启动程序次数（pv量） （1.6）7日内每个工作日时间端访问量 （1.7）30日新用户占比趋势(新用户/总新增用户) （1.8）分析沉默用户 业务交互走向： （2.1）30日签到数量（凌晨进行冷热数据分离） （2.2）30日完善个人信息人数 （2.3）30未完善个人信息进度 （2.4）3天内每日访问页面时长大于1小时人数，获取电话信息 （2.5）连续每日签到大于7|30天用户
ar
副本数3
客户端事件产生时间
kafka
SPARK(实时、离线)
ip
网络模式（4G|Wifi）
区域 中国|日本
CDH
128G内存20核数cpu8T磁盘空间5w11台+1台跳板机
离线6人
（1.1）7日|30日|累计活跃用户数(uv量) （1.2）7日|30日|累加新增用户数 （1.3）30日平均每日使用时长（启动APP到APP退出） （1.4）30日活跃用户趋势 （1.5）30日启动程序次数（pv量） （1.6）7日内每个工作日时间端访问量 （1.7）30日新用户占比趋势(新用户/总新增用户) （1.8）分析沉默用户
指标1
项目数据来源（app|pc）
新手任务
阿里云服务器
Web/小程序业务交互(1.1)(1.2)(1.7)(2.1)(2.2)(2.3)(2.4)(2.5)(2.6)
ett
事件结果以key-value形式自行定义
事件字段
用户分析
Mysql
手机型号
nw
客户端日志产生时间
可视化页面
屏幕宽高
en
i
Hbase：3台
vc
技术大佬1人
实时表日常数据量30w
数仓(实时、离线)
nginx
系统语言
事件名称和事件日志是根据事件名称的不用
（2.1）30日签到数量（冷热数据分离） （2.2）30日完善个人信息人数 （2.3）30未完善信息进度（第几步退出） （2.4）3天内每日访问页面时长大于1小时人数，获取电话信息 （2.5）连续每日签到大于7天用户
指标2
实时2人左右
la
埋点上报的字段，有具体的业务类型
路线1：业务数据通过工具例如canal、flinkcdc等操作
对网站登录用户进行分析，对会员的行为进行分析，统计完善信息人数及比例，同时汇总未完成信息的进度
用户标识
ip地址
数据走向
程序版本名
Mysql业务数据（冷热数据分离）
纬度
组长1人（前端）
os
Flume
l
从数据服务层数据导出
Hbase
kv
第三方工具sqoop datax
kafka：3台
mid
rm：2台
Redis
考察产品在过去一段时间的用户总量和新增总量反应出目前产品的运营能力和用户增长速度查看用户在过去一段时间的活跃趋势和新增趋势让您得悉用户基数在近期是在增长还是下降
设备唯一标识
Web/小程序前端埋点(1.3)(1.4)(1.5)(1.6)
必要字段
zookeeper：3台
md
ln
基本pc/app端所包含的信息字段
路线3 从服务器中获取项目运行日志(例spring项目) ，行为日志
日志收集服务器
个人博客：https://blog.csdn.net/qq_40565265后续更新整个项目代码，包含项目说明文档、内涵springcloud spark flink 调度器等工具、实际项目优化方案 真实项目 假一赔十 (^v^)
hw
HDFS(hive外部表)
ods 原始数据层 存放原始数据，保持原貌不做处理dwd 明细数据层 对ods层数据清洗（去除空值，脏数据，超过极限范围的数据）dws 服务数据层 轻度聚合ads 应用数据层 具体需求
nginx + flume + kafka+flume + hdfs = 培训
