StreamSets
2019-06-06 15:47:18 5 举报AI智能生成
StreamSets 文档梳理-不断补充中
作者其他创作
大纲/内容
stage
origin
CDC-Enabled<br>
MySQL Binary Log<br>
CRUD 操作类型<br>
CDC 信息<br>
BinLogFilename
BinLogPosition
SeqNo
GTID
Table
ServerId
Database
Timestamp
Offset
新数据
变更数据
实现细节和注意事项
processor
JDBC Lookup
数据库驱动
安装 JDBC 驱动
查找缓存
使用增量线程
为丢失值重试查找
监控 JDBC Lookup
配置 JDBC Lookup
destination
CURD-Disabled
Hive Metastore
Metadata 处理
根据需要创建和更新Hive表
根据需要创建新的Avro schemas
Hive 表生成
使用 Avro 集群存储
非 Avro 集群存储
缓存
写入的数据库和表
Hive表特征
表中的列名及类型
分区值
缓存空间和释放
事件生成
事件记录
记录头属性
sdc.event.type
new-table
new-columns
new partition
avro-schema-store
sdc.event.version
sdc.event.creation_timestamp
K8s 认证
Hive 特征及配置文件
配置 Hive Metastore Destination
资料
数据漂移触发器
Hive的漂移同步方案
HBase
字段映射<br>
明确字段映射
不明确字段映射
混合字段映射
K8s认证
使用HBase用户
1. HBase<br>
2. HBase Destination<br>
时间基准<br>
处理时间
记录时间
系统时间
HDFS特征及配置文件
配置HBase Destination<br>
CURD-enabled
0 条评论
下一页
