AI开放平台数据采集及实时分析架构

kafka中间件(数据中心内网)

Write

用户分析查询

API调用查询

调度服务

数据缓存层(MySQL，Mongo)

数据中心内外网kafka转发层

Sqoop

kafka中间件(阿里云)

History Data Analysis

日志持久层(Hive/Impala)

AI开放平台

查询服务层

Query/Return

分析结果层（MYSQL）

Spark-Streaming实时处理层