数据中心
2021-09-30 16:29:37 0 举报数据中心
作者其他创作
大纲/内容
MySQL 表组成
队列
model层：取数据
增量流程
push---appidreturn（id，data_type）
收数据
第三方接数据接口
.....
根据data_type获取所有订阅的appid，然后push
源数据表........
es
开始增量触发
id，data_type
出数据
消费
读源数据收集(三方的库，文本文件等)
待优化1. 收数据方案？2. 全量取数据实现？3. DB存储引擎？
controller层：路由，参数规则，return
DB存储
转发接口
代码分层
订阅第三方队列
MySQL
DB
数据需求方(appid)
........
dc_app_follow_data：订阅表appid->data_type订阅关系
详细数据查询接口（验签，权限判断，存储位置，返回数据）
生产 - 写入队列（id，data_type）
存储
lib层：单独封装的工具
取数据（存储位置，具体id）
直接提供接口
……
返回数据
数据中心
clickhouse
dc_app：appid表，记录基本信息
请求详细数据
TIDB
service层：签名校验，权限校验，对外请求，取数据规则
0 条评论
下一页
