AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
数据增长部数据来源
2019-05-24 15:07:40
0
举报
分享方式
仅支持查看
数据来源
数据来源
模版推荐
作者其他创作
大纲/内容
定时任务：定时从HBase中拉取数据处理并存入HDFS
爬虫抓取
外部表：dw_tz_speed_user_behavior
外部表：dw_tz_speed_user_profile
M端或小程序端
从ES中获取画像模型
HBase存储用户画像结果
离线部分：从Kafka写入HBase
ConsumerGroup
实时获取producer的生产数据写入相同Topic
ElasticSearch
HDFS中建立外部表，映射数据在Hive表中
Redis
HDFS/Hive
帖子数据
实时部分：实时写入Redis
日志采集与Flume的Sink
Consumer Group接收Topic发来的消息
Kafka消息队列
结果写回ES
Nginx日志服务器Flume实时拉取
建立HBase与Hive的映射
Spark处理用户的点击行为（计算，衰减等）
App埋点数据
HBase消息暂存
数据暂存在HBase，利用HBase的列式存储与rowkey高速查询功能
Redis存储用户最近十条行为数据
各大网站
用户行为日志数据
收藏
立即使用
sdp类图
收藏
立即使用
数仓架构
收藏
立即使用
数据增长部数据来源
收藏
立即使用
流量增长部数据分类
davidcheon
职业：本科
去主页
Collect
Get Started
数据中台与数据治理流程
Collect
Get Started
数据梳理
Collect
Get Started
数据来源
Collect
Get Started
数据流向图
评论
0
条评论
下一页
Document
