实时flink数仓架构

kylin

hbase

分时行情的数据为什么放在druid？分时行情是一分钟产生一条数据，并且数据要经过简单sql计算，还要达到亚秒级的响应。所以我们选用了druid

DM

历史数据备份分时数据加载

实时预警

板块

秒级分时K线历史数据备份个股涨跌幅

Flume

ods

java程序

flink CEP

沪市行情sse

指数公司

k线

javaweb

定时出发查询、秒级响应

邮件告警

K线行情的数据为什么放在mysql？K线行情一天产生一条行情数据，两万个企业，假如两万条数据，mysql也可以单表也能保存两个月。日k的表报和周k的报表需要进行负责数据分析

mysql

分时数数据加载、做离线预警，五日涨跌幅、五日振幅等等

深市行情szse

flink

flink实时数仓总体技术架构

hdfs

webUI大屏实时监控

实时

历史备份数据为什么放在hdfs？分时数据我们是不会删除的，会保存在hdfs，最后导入到hive做历史备份，后面拉来做分析

hive数仓

子业务

个股

socket流

druid

文件

秒级

行情公司wind

自定义source

序列化框架avro

加载hive数据，数据预聚合，做olap查询

DW

每秒对外广播

分时

指数

topicsse沪市

秒级相应的数据为什么放在hbase？第一：秒级行情是三秒一个窗口，秒计算一秒钟就就有两万条数据。四个小时就有两点八亿条数据，那么大的数据量，要求秒级数据响应，那么这时候就是hbase最合适，hbase只是简单的存取，不涉及复杂计算。第二： hbase本身就能存储海量数据。秒级行情我们只保存一周所以基于这个条件，我们再选择ID base的

kafak

topicszse深市

离线

服务端口

FTP

涨跌幅预警振幅预警换手率预警

文件交互中心