房源项目

业务服务器(Spring boot)

ap

手机品牌

vn

flink core、sql消费

经度

uid

操作系统 mac|linux|windows

ba

datanode：11台

程序版本号

公共字段

namenode：2台

（业务日志数据）后端埋点数据

路线2：业务方直接调用接口将数据写入至kafka中，神策数据等业务场景

HIve (ods) 原始数据层(dwd) 数据明细层(dws) 数据服务层(ads) 数据应用层

前端埋点走向： （1.1）7日|30日|累计活跃用户数(uv量) （1.2）7日|30日|累加新增用户数 （1.3）30日平均每日使用时长（启动APP到APP退出） （1.4）30日活跃用户趋势 （1.5）30日启动程序次数（pv量） （1.6）7日内每个工作日时间端访问量 （1.7）30日新用户占比趋势(新用户/总新增用户) （1.8）分析沉默用户 业务交互走向： （2.1）30日签到数量（凌晨进行冷热数据分离） （2.2）30日完善个人信息人数 （2.3）30未完善个人信息进度 （2.4）3天内每日访问页面时长大于1小时人数，获取电话信息 （2.5）连续每日签到大于7|30天用户

ar

副本数3

客户端事件产生时间

kafka

SPARK(实时、离线)

ip

网络模式（4G|Wifi）

区域 中国|日本

CDH

128G内存20核数cpu8T磁盘空间5w11台+1台跳板机

离线6人

 （1.1）7日|30日|累计活跃用户数(uv量) （1.2）7日|30日|累加新增用户数 （1.3）30日平均每日使用时长（启动APP到APP退出） （1.4）30日活跃用户趋势 （1.5）30日启动程序次数（pv量） （1.6）7日内每个工作日时间端访问量 （1.7）30日新用户占比趋势(新用户/总新增用户) （1.8）分析沉默用户

指标1

项目数据来源（app|pc）

新手任务

阿里云服务器

Web/小程序业务交互(1.1)(1.2)(1.7)(2.1)(2.2)(2.3)(2.4)(2.5)(2.6)

ett

事件结果以key-value形式自行定义

事件字段

用户分析

Mysql

手机型号

nw

客户端日志产生时间

可视化页面

屏幕宽高

en

i

Hbase：3台

vc

技术大佬1人

实时表日常数据量30w

数仓(实时、离线)

nginx

系统语言

事件名称和事件日志是根据事件名称的不用

 （2.1）30日签到数量（冷热数据分离） （2.2）30日完善个人信息人数  （2.3）30未完善信息进度（第几步退出） （2.4）3天内每日访问页面时长大于1小时人数，获取电话信息 （2.5）连续每日签到大于7天用户

指标2

实时2人左右

la

埋点上报的字段，有具体的业务类型

路线1：业务数据通过工具例如canal、flinkcdc等操作

对网站登录用户进行分析，对会员的行为进行分析，统计完善信息人数及比例，同时汇总未完成信息的进度

用户标识

ip地址

数据走向

程序版本名

Mysql业务数据（冷热数据分离）

纬度

组长1人（前端）

os

Flume

l

从数据服务层数据导出

Hbase

kv

第三方工具sqoop datax

kafka：3台

mid

rm：2台

Redis

考察产品在过去一段时间的用户总量和新增总量反应出目前产品的运营能力和用户增长速度查看用户在过去一段时间的活跃趋势和新增趋势让您得悉用户基数在近期是在增长还是下降

设备唯一标识

Web/小程序前端埋点(1.3)(1.4)(1.5)(1.6)

必要字段

zookeeper：3台

md

ln

基本pc/app端所包含的信息字段

路线3 从服务器中获取项目运行日志(例spring项目) ，行为日志

日志收集服务器

个人博客：https://blog.csdn.net/qq_40565265后续更新整个项目代码，包含项目说明文档、内涵springcloud spark flink 调度器等工具、实际项目优化方案  真实项目 假一赔十  (^v^)

hw

HDFS(hive外部表)

ods  原始数据层 存放原始数据，保持原貌不做处理dwd  明细数据层 对ods层数据清洗（去除空值，脏数据，超过极限范围的数据）dws  服务数据层 轻度聚合ads  应用数据层 具体需求 

nginx  + flume + kafka+flume + hdfs = 培训