实时数仓ODS层
2020-05-28 13:49:51 0 举报
登录查看完整内容
实时数仓ODS层
作者其他创作
大纲/内容
8.白名单
7.元数据部署在源端，轻量级，维护成本降低
断批还原
HBase
无列类型：所以就不建议使用动态列
3.全表/指定条件（一般用来历史数据同步）：源码63行
有列值
4.支持分区字段，避免全局乱序
5.支持DDL：alter table...
MaxWell
断点还原
Kafka
MySQL
10个字段因为MySQL新增一个字段写入时会报错。那么问题是，在此流程的哪一个组件中添加新增的字段？肯定是在单节点的组件做那就是在MaxWell这一层做
增量：正常的读取binlog数据即可
第一次启动较慢，原因是1. Phoenix连接耗时2. SparkStreaming启动时join耗时
有列名
6.代码优雅，轻量级
2.仅支持JSON格式 -> 有Schema -> ETL
ODS层
......
SS + Phoenix
注：生产上有严格的业务规范，字段修改由DBA审核，在凌晨或业务低估的时候修改
实时数仓
1. 支持断点还原
原先有10个字段现在增加一个字段变成11个字段
全量数据：用bootstrap全表导或者根据指定条件
注：虽然整条链路较长，但基于MaxWell的 断点还原和SparkStreaming的断批还 原，保证了全链路数据零丢失，保证数 据幂等性。
0 条评论
回复 删除
下一页
