OGG 实时同步到 Kafka

Replicat

OGG for Big Data

为了降低数据传输时的风险，提高稳定性。应当对系统进行解耦，并明确划分系统之间的边界，从而来减少互相的交叉依赖。(举个例子。假设有 1 -> 2 -> 3 -> 4 这个数据流由 A，B 两人负责。就不能够 A 负责1和3，B 负责2和4。同时避免盲目“公平”。假设2和3依赖程度很高，那么2和3应对由同一方负责，而不是“平均”分成1和2；3和4)基于以上原则得到以下结论：1. Oracle日志抽取以及传送到对应服务器，由DBA负责；2. 日志解析和解析之后发送到kafka，由DS负责；注意：由于配置依赖抽取程序的配置 (如日志地址，同步哪些表)，DBA提供协助；

Pump

Oracle

Network 1

Watson DBA

Streaming

mgr (Manager)

Extract

OGG for Oracle

Network 2

DataStory (DS)

Trail