数据同步策略
DataXmaxwell
Flume使用：Taildir Source 实时监控，断点续传kafka Channel 三种情景： 1、source---channel---sink 2、无sink，写入kafka 3、无source，从kafka中消费Flume拦截器链： 1、前拦截器：检查JSON格式 2、后拦截器：时间戳拦截器，配合文件中修改事件时间转为年月日
HDFS
数据同步
全量表同步
报表显示
基于Select查询的离线、批量同步工具
基于数据库数据变更日志实时流式同步工具binlog日志
maxwellCanal
DataX从Mysql同步到HDFS上
事务性事实表
主要包括一个主键和多个维度字段
维度表设计步骤1.确定维度2.确定主维表和相关维表3.确定维度属性 3.1尽可能生成丰富的维度属性 3.2尽量不使用编码，而使用明确的文字说明 3.3尽量沉淀出通用的维度属性
DataX
维度表设计要点：规范化与反规范化
全量
Hive
日志数据
全量表名为full，目标路径中还包含时间日期用于分区path未写死，动态传参
事实表
Flume
DataXSqoop
业务数据
累计型快照事实表
mysql
增量
维度表
什么时候拉取数据？凌晨，按时间定时拉取Linux---Crontab，无任务之间依赖调度工具---Dolphin scheduler 国产好用AirFlow---跨集群依赖
建模
数据同步工具
要求数据库有时间字段要求数据库开启binlog
周期型快照事实表
