ODS
该层存在的意义在于:<br>1.是数据团队和业务团队的天然分界线<br>2.保障数据追溯<br>3.保障系统稳定<br>
该层和业务数据同步应使用现成的工具,如:OGG/canal/sqoop/Debezium.<br>好处是:<br>1.抽取效率高<br>2.容易适应数据库变更<br>3.可以做到实时<br>4.可以使用工具自带的管理功能,如任务调度、定时、监控、发送消息状态等
如果业务系统只能通过文件的方式导出数据, 推荐使用avro格式(比定长文件或csv文件更高效并易于处理)
如果业务上对于实时性要求很高, 最好将业务直接架在ODS层上.