首页  思维导图  详情

Sqoop

2021-04-12 08:59:04   0  举报





仅支持查看

AI智能生成

Sqoop笔记

sqoop

作者其他创作

大纲/内容

1. Apache Sqoop

介绍

来自 apache

数据传输工具

Hadoop生态体系与 RDBMS体系之间传输

Hadoop 生态系统包括：HDFS、Hive、Hbase 等

RDBMS 体系包括：Mysql、Oracle、DB2 等

工作机制

将导入或导出命令翻译成 mapreduce 程序来实现

Import：数据导入。RDBMS----->Hadoop

Export：数据导出。Hadoop---->RDBMS

安装

依赖

Java

Hadoop

2. Sqoop 导入

MySql到HDFS

全量导入

sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table allowinsert \
--target-dir /data/sqoop/allowinsert \
--delete-target-dir \
--fields-terminated-by '\t' \
--m 1

查询导入

sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--target-dir /data/sqoop/allowinsert_query \
--delete-target-dir \
--query 'select id, name from allowinsert where 1=1 and $CONDITIONS' \
--fields-terminated-by ',' \
--m 1

导出部分字段

sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table allowinsert \
--delete-target-dir \
--target-dir /data/sqoop/allowinsert_columns \
--columns name,salary \
--fields-terminated-by '|' \
--m 1

使用sqoop关键字筛选查询导入数据

sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table allowinsert \
--delete-target-dir \
--target-dir /data/sqoop/allowinsert_query_gjz \
--where id=1203 \
--fields-terminated-by '\t' \
--m 1

MySql到Hive

方法1

#将关系型数据的表结构复制到 hive 中
sqoop create-hive-table \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table allowinsert \
--hive-table userdb.allowinsert_hive

sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table allowinsert \
--hive-import \
--hive-table db.allowinsert_hive \
--hive-overwrite \
--fields-terminated-by '\t' \
--m 1

方法2

#直接复制表结构和数据到hive
sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table employee \
--hive-import \
--hive-database userdb \
--m 1

增量导入（3个参数同时使用）

--check-column (col)：可以指定列，列的数据类型不能是char,varchar等字符类型

--incremental (mode)

append：追加，比如对大于 last-value 指定的值之后的记录进行追加导入。

lastmodified：最后的修改时间，追加 last-value 指定的日期之后的记录

--last-value (value)

指定自从上次导入后列的最大值（大于该指定的值），也可以自己设定某一值

#append模式
sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table employee \
--target-dir /data/sqoop/employee_icre \
--incremental append \
--check-column id \
--last-value 1205 \
--fields-terminated-by '\t' \
--m 1

3. Sqoop 导出

HIVE/HDFS到MySql（默认导出）

sqoop export \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table allowinsert_mysql \
--export-dir /user/hive/warehouse/allowinsert_hive \
--input-fields-terminated-by '\t' \
--m 1

更新导出（updateonly 模式）

bin/sqoop export \
--connect jdbc:mysql://node-1:3306/userdb \
--username root --password hadoop \
--table updateonly \
--export-dir /updateonly_2/ \
--update-key id \
--update-mode updateonly

更新导出（allowinsert 模式）

bin/sqoop export \
--connect jdbc:mysql://node-1:3306/userdb \
--username root --password hadoop \
--table allowinsert \
--export-dir /allowinsert_2/ \
--update-key id \
--update-mode allowinsert

4. Sqoop job

1． job 语法

$ sqoop job (generic-args) (job-args)
[-- [subtool-name] (subtool-args)]

2．创建 job

bin/sqoop job --create itcastjob
-- import --connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--target-dir /sqoopresult333 \
--table emp --m 1

#注意 import 前要有空格

3．验证 job

bin/sqoop job --list

4．检查 job

bin/sqoop job --show itcastjob

5．执行 job

bin/sqoop job --exec itcastjob

6．免密执行 job

sqoop 在创建 job 时，使用--password-file 参数，可以避免输入 mysql 密码.
密码文件必须存放在 HDFS 上，并且权限必须是 400

#sqoop-site.xml配置：

<property>
<name>sqoop.metastore.client.record.password</name>
<value>true</value>
<description>If true, allow saved passwords in the metastore.
</description>
</property>

bin/sqoop job --create itcastjob1 -- import --connect jdbc:mysql://cdh-
1:3306/userdb \
--username root \
--password-file /input/sqoop/pwd/itcastmysql.pwd \
--target-dir /sqoopresult333 \
--table emp --m 1