大数据平台技术架构
2016-09-12 15:38:42 0 举报
大数据平台技术架构通常包括数据采集、数据存储、数据处理和数据分析四个部分。数据采集负责从各种数据源中获取数据,并将其转化为可供处理的格式;数据存储则负责将采集到的数据进行持久化存储,以便后续使用;数据处理则负责对存储在数据库中的数据进行清洗、转换和整合等操作,以便于后续的分析和应用;而数据分析则负责对处理后的数据进行挖掘和分析,从中提取有价值的信息和知识。这些组件之间通过API接口相互连接,形成一个高度可扩展和灵活的系统架构。
作者其他创作
大纲/内容
ES
Cassandra
聚类模型
easyschedule (作业调度平台)
flume (ETL)
CNN
用户库
hadoop
...
业务库
图片识别
分布式数据库
MyData
效果统计按天统计表小时统计表实时统计表多维分析表访客关系表...
分布式存储层
分布式计算层
网关日志
预警监测平台
智能榜单
打点SDK
dw(hive)
app (clickhouse)
ods (hive)
涉政模型
CTR预测模型
抽数接口
OCR
数据采集
规则管理
消息队列
审核接口
Kafka
RNN
规则算法
数据资产层
数据处理层
回归模型
数仓系统
数据中台监控系统
kafka
搜索服务
LogServer
赋能业务层
数据接口
搜索接口
实时任务
Flume
数据管理平台
用户
标签系统
ETL工具
推荐接口
智能标题
搜索推荐配置化
标签服务
效果统计
鉴黄
特征工程
数据服务层
HDFS
sqoop (ETL)
用户分群
推荐服务
Spark
Logstash
交易库
Spark 、SparkSQL 、SparkStreaming
作品库
作品
分类模型
MySQL
商品库
接口服务
商品
核心数据域用户域作品域商品域交易域...
clickhouse
索引库商品库作品库标签库时序行为...
0 条评论
下一页