大数据技术架构图

数据存储层

安全管理

Hive

MapReduce

数据治理

算法模型库

文本数据

Flink

资源隔离

数据处理引擎

互联网数据

Spark

运维平台

业务数据

实时处理

用户画像

生命周期管理

数据质量管理

Spark Streaming

数据应用层

元数据管理

业务自助分析FineBI

数据采集层

Spark Lib/TensorFlow/PyTorch/PaddlePaddle/sciket-learn/OpenCV/NLP

集群管理

数据服务API

数据安全管理

批量处理

日志数据

监控警告

数据报表

HDFS/Hbase/CarbonData/CouchDB/Neo4j/MongoDB/ElasticSearch