大数据技术架构
2024-02-25 23:02:55 65 举报
登录查看完整内容
大数据技术架构主要包括数据采集、数据存储、数据处理和数据分析四个层次。数据采集层主要负责从各种数据源中获取数据,包括结构化数据和非结构化数据。数据存储层主要负责数据的持久化存储,包括关系型数据库、非关系型数据库和分布式文件系统等。数据处理层主要负责对原始数据进行清洗、转换和整合,以便于后续的数据分析。数据分析层主要负责对处理后的数据进行深度挖掘和分析,以发现数据中的有价值信息。此外,大数据技术架构还包括数据安全和隐私保护、数据治理和数据可视化等多个方面。
作者其他创作
大纲/内容
HTTP/HTTPS
分类
RPC
通讯层
DDOS高防IP
开发IDE
FlinkSql/Streaming
Feign
统计服务
去重
Django
智能调度
Dataworks
WebSocket
运维管理平台
Docker
LogStash
数据质量
数据服务层
实时数据
kettle
Sqoop
离线计算
MySql集群
Hbase
数据源
RDS
WAF防火墙
非结构数据
Mahout
Map/Reduce
运维保障
模型训练
DataHub
网络层
Redis
智能数据平台
机器学习
计算层
转换
API
上传服务
SparkSql/RM
数据采集平台
Mongo集群
势态感知SAS
Flume
PostgreSql
...
UBl打分
增加
解析
智能推荐
AI
运维自动化
数据服务平台
报告服务
.
调度工具
总体大数据架构体系
....
开发平台
实时计算
通信服务
元数据管理
jenkins
清洗
API网关
证书
业务服务
定时任务
负载均衡
大数据统计&数据挖掘&行业报告&信用体系
业务数据
REST
配置中心
RDBMS
Tensorflow
kafka
模板引擎
SpringCloud
MQ
大数据中心
HDFS
+
Sklearn
Redis集群
筛选
Eurkea
Caffe
公共服务
数据应用层
Kubernetes
个性化推荐
商品服务
统计分析库
警告监控
消息总栈
中间层
订单服务
GitLab
ZABBIX
管理服务
大数据统计&数据挖掘&行业报告&馆情监控
TCP/UDP
图书资源
业务平台架构体系
可视化平台
加工
日志服务
Sgoop
CDN
Load
Zuul
Ribbon
OSS
用户数据
用户服务
接入服务
用户画像
业务数据,流水数据,日志数据
认证
ES
结构化数据
存储层
多媒体转码
智能设备
数据存储平台
数据运算平台
Hystrix
0 条评论
回复 删除
下一页