AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
宽表实现新旧架构图
2023-02-23 17:06:51
5
举报
分享方式
免费使用
宽表服务架构。解决mysql大量情况下
后端开发
模版推荐
作者其他创作
大纲/内容
数据写入中间表后，生成binlog。binlog数据再次数据源fy_mysql_topic
（ODS层）KFK
（管道层）KFK
管道集群服务
fy_flink_mysql_mapping
大宽服务周期将收集到的数据去重后，从hbase中批量获取宽表数据，然后大宽，将大宽的数据再次写入管道层KFK，交由对应的管道服务将数据写入对应数据库
上游原始数据
fy_mysql_topicfy_senior_topicfy_third_topic
各种管道层服务写入对应数据库
将数据统一数据格式后输出分别输出到3个topic
fy_flink_sink_hbase
（宽表ODS层）KFK
宽表大宽服务fy_flink_wide_mapping
mysql管道服务，将数据写入中间表利用mysql的主键进行大宽操作dw_middle_*
实时计算服务集群
直接输出数据
三种服务分别分别进入对应的计算服务
数据接入服务（埋点，业务，第三方）
写入hbase成功后将dataKey上传到宽表KFK
fy_mysql_topic
数据计算服务fy_flink_senior_mappingfy_flink_mysql_mappingfy_flink_third_mapping
收藏
立即使用
宽表实现新旧架构图
收藏
立即使用
大数据实时平台数据流转图
收藏
立即使用
实时平台服务架构图
收藏
立即使用
大数据实时架构
135228_PO
职业：专科
去主页
Collect
Get Started
结款规则系统架构图
Collect
Get Started
架构图
Collect
Get Started
架构图
Collect
Get Started
系统架构图、部署架构图、网络架构图、技术架构图（优质架构图）
评论
0
条评论
下一页
Document
