实时数据处理流程图

大数据实时处理系统

实时数据库存储

离线计算系统

离线数据库存储

分析

数据治理：当任务初始化启动时系统会先去mysql中获取解析，加工，融合等模板数据，然后通过拉取的方式将数据采集系统中采集到的数据拉取到大数据实时处理系统中，通过模板规则将数据解析，加工，融合等处理。大数据实时处理系统会实时更新模板库中的模板规则并加载进大数据实时处理系统中，然后通过最新的模板规则来处理实时推送进来的数据，同时将实时处理出来的数据推送至实时数据库和发送至下游系统中，再通过离线计算系统将实时数据库中的数据拉取出来进行离线计算，大数据挖掘，大数据分析，然后将离线计算好的数据存放至离线数据库中，并作分层存储。离线数据存储中的数据最后也是会反馈到业务系统中去进行展示和计算

获取数据处理规则

加工

mysql

融合

解析

数据采集系统

业务系统