数据同步网络图

腾讯调度nezha

阿里Internet

databus

旧版数据同步

云数据库

增量|全量

kudu

定时调度

增量-消费Kafka

阿里调度nezha

uanalysis.baijia.com

提交加分区任务

提交调度任务

使用

阿里Yarn集群（197台）内存:17.31TVCores:5910

es

腾讯Internet

天宫Internet

阿里|腾讯离线集群

Hive|HDFS

腾讯Yarn集群（197台）内存:24.30TVCores:6912

nezha-executor03

Kafka

阿里离线集群

recketmq

Canal到Kafka

腾讯离线集群

al-bj-bigdata-inf-prod82

数据合并

提交Flink任务|调度

tx-bj-bdg-nezha-executor03

Canal03172.16.50.182

新版数据同步DPL

Canal01172.16.50.182

al-bj-bdg-pipeline01

阿里离线Yarn

waterdrop拉全量

opLog方式-172.16.5.67:9092 databus(old)方式-172.16.3.36:9092databus(new)方式-172.16.5.67:9092kafka(tx)10.224.192.139:9092

recketmq地址：onsaddr.cn-beijing.mq-internal.aliyuncs.com:8080

HDFS

Canal02172.16.43.11

Kafka-opLog方式databus(old)databus(new)kafka(tx)

天宫2Internet

es服务

Hive

gql2.baijia.com

Accounting and Finance

ZookeeperCanal01到03