AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
行为数据收集工具---DataX
2023-07-13 17:59:23
0
举报
分享方式
仅支持查看
大数据基础学习笔记
学习笔记
模版推荐
作者其他创作
大纲/内容
FrameWork
极简的使用体验
线程内部重试线程级别重试
可靠的数据质量监控
提供了管道（并发channel）记录流（record）字节流（byte）三种流控模式来控制作业速度
HDFSWriter
DataX是一个异构数据源离线数据同步工具 致力于实现各种异构数据源之间稳定高效的数据同步功能 它采用的是FrameWork + plugin架构构建 将读取数据源和写入抽象为Reader + Writer插件 纳入到整个同步框架中
MySQL
Reder:为数据采集模块 负责向源端采集数据 发送给FramenWokWriter：为数据写入模块 负责向FrameWork取数据 发送给目的端FramenWork：用于连接Reader和Writer 作为Reader和Writer的连接通道 并处理缓冲 流控 并发 数据转换等核心功能
精准的速度控制
Writer插件
Redaer插件
HDFS
强劲的同步性能
健壮的容错机制
DataX 六大核心优势
丰富的数据转换功能
1、完美解决数据传输时个别类型失真问题2、提供作业全链路的流量 数据量的运行时监控3.提供脏数据检测
mysqlReader
收藏
立即使用
行为数据收集工具---DataX
liu_yi
职业：暂无
去主页
Collect
Get Started
产品经理必备工具
Collect
Get Started
工具
Collect
Get Started
系统行为
Collect
Get Started
文件粉碎工具用户行为操作流
评论
0
条评论
下一页
Document
