AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
架构
2021-02-22 11:07:49
8
举报
分享方式
免费使用
111
高效工作方式
模板推荐
作者其他创作
大纲/内容
数据产品
原始数据
实时计算（框架：spark/flink）
hbase（kv数据库）
数据计算
离线计算（框架：mapreduce）
使用spark或者flink编写业务代码
ETL
数据服务
mangodb（kv数据库）
客户端（后台操作记录日志等.log文件）
离线数仓（hive）
报表展示（echarts/帆软）
暂存区（hdfs）
1.flume直连，抓取log文件后保存在服务器上2.后端暴露接口，编写java代码直接抓取数据后保存在服务器上3.保存在服务器硬盘上
其他（图像、影音等非结构化文件）
直接存在服务器硬盘上
实时大屏展示（帆软）
redis（缓存数据库）
内部数据（Excel、csv、mysql等文件）
数据存储
API调用（后端代码）
外部系统（爬虫/企业购买的结构化例Excel、csv等文件）
前端埋点（用户行为日志等.log文件）
流处理（sparkstreaming/strom）
数据采集方法
web界面展示（echarts/js）
mysql（关系型数据库）
1.使用sqoop将mysql数据直接导入到hdfs上2.使用hdfs-put命令将出mysql以外的数据直接导入到hdfs上3.flink直连数据目录开始计算
收藏
立即使用
离线架构
收藏
立即使用
架构
收藏
立即使用
实时
收藏
立即使用
推荐
Έντεκα
职业：暂无
去主页
Collect
Get Started
Openclaw架构
Collect
Get Started
智能客服平台整体架构
Collect
Get Started
架构师技能图谱
Collect
Get Started
系统架构
评论
0
条评论
下一页
Document
