work-log-20200511-大数据平台架构图-v2.0

时序存储OpenTSDB

工作流调度OozieAirflowAzkabanFalcon

关系存储Hive

其他

视频、图片、文档

数据报表SupersetsFineReportYonghongBICognos

列式存储HBaseKuduCassandra

运维管理平台

数据治理AtlasMetaModel

机器学习Spark MLlibFlink MLTensorflow

交互式分析KylinHueImpalaPrestoPhoenixDruidZeppelin

应用层

采集层

集群部署CDHCMHDPAmbariCDP

图计算HamaSpark GraphXFlink GellyGiraph

关系存储MySQLOraclePostgreSQLDB2SQL ServerClickHouse

运营管理平台

Log-日志采集FlumeLogstashScribe

数据接口JSONXMLCSVTXT

ETL-离线采集KettleSqoopStreamSetsDataXFlinkX

分布式协调ZookeeperBookkeeper

结构化数据

流计算StormSpark StreamingFlink DataStreamSamzaApexBeamEsperEagle

图存储Neo4jGiraph

搜索引擎ElasticSearchSolr

管理层

持续集成svngitgitlabmavennexusjenkinsansibleconfluencejira

数据分析SQLMATLABSASNumpyScipyPandasMatpalotlibSklearnKeras

半结构化数据

数据可视化TableauEchartsRedashDS3

非结构化数据

Web-网页采集WebCollectorNutchScrapyPySpider

运维监控ZabbixGangliaGrafanaPromethusKibana

大数据平台架构图

财务管理平台

文档存储MongoDBCouchDB

键值存储Redis

服务层

MQ-实时采集KafkaRabbitMQActiveMQRocketMQ

资源调度YARNMesos

批计算MapReduceSpark SQLFlink DataSetFlink Table

Hadoop HDFS

存储层

计算层

项目管理平台

数据安全SentryKerberosRangerKnox