首页  思维导图  详情

sqoop数据迁移工具

2020-06-09 09:45:12   0  举报





AI智能生成

sqoop 数据迁移工具

sqoop

数据迁移

作者其他创作

大纲/内容

Hadoop和关系数据库之间传输数据

sqoop的工作机制

将导入和导出的命令翻译成mapreduce程序实现

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

导入

导入数据库表数据到HDFS

查看帮助文档：sqoop list-databases --help

列举出所有的数据库：sqoop list-databases --connect jdbc:mysql://node1:3306/ --username root --password 123456

sqoop import --connect jdbc:mysql://node1:3306/userdb --username root --password 123456 --table emp --m 1

--target-dir==来指定导出目的地

--delete-target-dir==来判断导出目录是否存在，如果存在就删掉

--fields-terminated-by  指定导入后数据字段的分隔符

导入关系表到Hive中

将hive的一个叫做==hive-exec-1.2.2.jar==包拷贝到sqoop的lib目录下

要先创建hive表 :   sqoop import --connect jdbc:mysql://node1:3306/userdb --username root --password 123456 --table emp --fields-terminated-by '\001' --hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --m 1

自动创建表：   sqoop import --connect jdbc:mysql://node1:3306/userdb --username root --password 123456 --hive-database sqooptohive --hive-table emp1 --table emp --hive-import -m 1 ;

导入表数据子集

sqoop import \ --connect jdbc:mysql://node1:3306/userdb \ --username root --password 123456 --table emp \ --target-dir /sqoop/emp_where -m 1 --delete-target-dir \ --where "dept = 'TP'"

sql语句查找导入hdfs

sqoop import \ --connect jdbc:mysql://node1:3306/userdb \ --username root --password 123456 \ --target-dir /sqoop/emp_sql -m 1 --delete-target-dir \ --query 'select * from emp where salary >30000 and $CONDITIONS'

增量导入

基于递增列的增量数据导入（Append方式）

sqoop import \ --connect jdbc:mysql://node1:3306/userdb \ --username root \ --password 123456 \ --table emp \ --incremental append \ --check-column id \ --last-value 1202 \ -m 1 \ --target-dir /sqoop/increment1

这里不能加上 --delete-target-dir 参数

基于时间列的增量数据导入（LastModified方式）

sqoop import \ --connect jdbc:mysql://node1:3306/userdb \ --username root \ --password 123456 \ --table user \ --target-dir /sqoop/incement2 \ --incremental lastmodified \ --check-column createTime \ --last-value '2019-09-01 10:16:00' \ --m 1

导出

hdfs文件导出到mysql表中

创建一张mysql表

sqoop export \ --connect jdbc:mysql://node1:3306/userdb \ --username root --password 123456 \ --table fromhdfs \ --input-fields-terminated-by " " \ --export-dir /user/hive/warehouse/hive_source

Sqoop作业

在创建job时，==命令"-- import" 中间有个空格

sqoop job \ --create myjob \ -- import \ --connect jdbc:mysql://node1:3306/userdb \ --username root \ --password 123456 \ --table emp \ --target-dir /sqoop/myjob \ --delete-target-dir \ --m 1