行为数据收集工具---DataX
2023-07-13 17:59:23 0 举报大数据基础学习笔记
作者其他创作
大纲/内容
FrameWork
极简的使用体验
线程内部重试线程级别重试
可靠的数据质量监控
提供了管道（并发channel）记录流（record）字节流（byte）三种流控模式来控制作业速度
HDFSWriter
DataX是一个异构数据源离线数据同步工具 致力于实现各种异构数据源之间稳定高效的数据同步功能 它采用的是FrameWork + plugin架构构建 将读取数据源和写入抽象为Reader + Writer插件 纳入到整个同步框架中
MySQL
Reder:为数据采集模块 负责向源端采集数据 发送给FramenWokWriter：为数据写入模块 负责向FrameWork取数据 发送给目的端FramenWork：用于连接Reader和Writer 作为Reader和Writer的连接通道 并处理缓冲 流控 并发 数据转换等核心功能
精准的速度控制
Writer插件
Redaer插件
HDFS
强劲的同步性能
健壮的容错机制
DataX 六大核心优势
丰富的数据转换功能
1、完美解决数据传输时个别类型失真问题2、提供作业全链路的流量 数据量的运行时监控3.提供脏数据检测
mysqlReader
收藏
0 条评论
下一页
