StreamSets
2019-06-06 15:47:18 5 举报AI智能生成
StreamSets 文档梳理-不断补充中
作者其他创作
大纲/内容
StreamSets
stage
origin
CDC-Enabled
MySQL Binary Log
概要
CRUD 操作类型
CDC 信息
BinLogFilename
BinLogPosition
SeqNo
GTID
Table
ServerId
Database
Timestamp
Offset
新数据
变更数据
实现细节和注意事项
processor
JDBC Lookup
数据库驱动
安装 JDBC 驱动
查找缓存
使用增量线程
为丢失值重试查找
监控 JDBC Lookup
配置 JDBC Lookup
destination
CURD-Disabled
Hive Metastore
Metadata 处理
根据需要创建和更新Hive表
根据需要创建新的Avro schemas
Hive 表生成
使用 Avro 集群存储
非 Avro 集群存储
缓存
写入的数据库和表
Hive表特征
表中的列名及类型
分区值
缓存空间和释放
事件生成
事件记录
记录头属性
sdc.event.type
new-table
new-columns
new partition
avro-schema-store
sdc.event.version
sdc.event.creation_timestamp
K8s 认证
Hive 特征及配置文件
配置 Hive Metastore Destination
资料
数据漂移触发器
Hive的漂移同步方案
HBase
字段映射
明确字段映射
不明确字段映射
混合字段映射
K8s认证
使用HBase用户
1. HBase
2. HBase Destination
时间基准
处理时间
记录时间
系统时间
HDFS特征及配置文件
配置HBase Destination
CURD-enabled
0 条评论
回复 删除
下一页
