一、Sqoop简介

（一）简介

Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。

Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。【可以理解为一种数据搬运工具】

Sqoop(发音：skup)是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

（二）出现背景

Apache框架Hadoop是一个越来越通用的分布式计算环境，主要用来处理大数据。随着云提供商利用这个框架，更多的用户将数据集在Hadoop和传统数据库之间转移，能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样一款工具，可以在Hadoop和关系型数据库之间转移大量数据。

（三）核心的功能

参考：https://www.cnblogs.com/qingyunzong/p/8807252.html

核心功能有两个：【导入、迁入】和【导出、迁出】。

导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统

导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。

（四）sqoop和hive的区别

参考：https://www.cnblogs.com/qingyunzong/p/8807252.html

sqoop：

工具：本质就是迁移数据，迁移的方式：就是把sqoop的迁移命令转换成MR程序

hive

工具，本质就是执行计算，依赖于HDFS存储数据，把SQL转换成MR程序

（五）版本问题

1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。

二、Sqoop原理

将导入或导出命令翻译成 MapReduce 程序来实现，在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制。

三、Sqoop安装

（一）前提概述

安装Sqoop的前提是已经具备Java和Hadoop的环境。

参考：https://www.cnblogs.com/qingyunzong/p/8807252.html

1. 将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？

HDFS， MapReduce， YARN， ZooKeeper， Hive， HBase， MySQL

2. sqoop就是一个工具，只需要在一个节点上进行安装即可。

3. 如果你的sqoop工具将来要进行hive或者hbase等等的系统和MySQL之间的交互，你安装的SQOOP软件的节点一定要包含以上你要使用的集群或者软件系统的安装包

4. 将来要使用的azakban这个软件除了会调度 hadoop的任务或者hbase或者hive的任务之外，还会调度sqoop的任务。azkaban这个软件的安装节点也必须包含以上这些软件系统的客户端。

（二）下载并解压

1) 最新版下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

2) 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中，如我的上传目录是：/opt/software/

3) 解压sqoop安装包到指定目录，如：

$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

（三）修改配置文件

Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。

1) 重命名配置文件

$ mv sqoop-env-template.sh sqoop-env.sh

$ mv sqoop-site-template.xml sqoop-site.xml 此行不用做

2) 修改配置文件

sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.8.4

export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.8.4

export HIVE_HOME=/opt/module/hive

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10

export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/conf

（四）拷贝JDBC驱动

拷贝jdbc驱动到sqoop的lib目录下，如：

$ cp -a mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

（五）验证Sqoop

我们可以通过某一个command来验证sqoop配置是否正确：

$ bin/sqoop help

出现一些Warning警告（警告信息已省略），并伴随着帮助命令的输出：

Available commands:

codegen Generate code to interact with database records

create-hive-table Import a table definition into Hive

eval Evaluate a SQL statement and display the results

export Export an HDFS directory to a database table

help List available commands

import Import a table from a database to HDFS

import-all-tables Import tables from a database to HDFS

version Display version information

·····

注:注释掉bin/configure-sqoop文件的 134行到143行的内容，内容如下

134 ## Moved to be a runtime check in sqoop.

135 #if [ ! -d "${HCAT_HOME}" ]; then

136 # echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."

137 # echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'

138 #fi

139 #

140 #if [ ! -d "${ACCUMULO_HOME}" ]; then

141 # echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."

142 # echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'

143 #fi

（六）测试Sqoop是否能够成功连接数据库

$ bin/sqoop list-databases --connect jdbc:mysql://bigdata111:3306/ --username root --password 000

出现如下输出：

information_schema

metastore

mysql

performance_schema

四、Sqoop的简单使用案例

（一）导入数据

在Sqoop中，“导入”概念指：

从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

过滤条件

–where “age>18” 【从关系数据库导入数据时的查询条件】

–columns “name,age” 【指定要导入的字段值/ 指定列】

–query ‘select * from people where age>18 and $CONDITIONS’ 【从查询结果中导入数据。不能 –table 一起使用。该参数使用时必须指定–target-dir或者–hive-table，在查询语句中一定要有where条件且在where条件中需要包含 \$CONDITIONS】

其他参数

--direct 【直接导入模式，使用的是关系数据库自带的导入导出工具】

--connect <jdbc-uri> jdbc 连接地址

--driver <class-name> 驱动类

1、RDBMS到HDFS

1) 确定Mysql服务开启正常

2) 在Mysql中新建一张表并插入一些数据

$ mysql -uroot -p000

mysql> create database company;

mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));

mysql> insert into company.staff(name, sex) values('Thomas', 'Male');

mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

3) 导入数据

（1）全部导入

$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

--connect jdbc:mysql://bigdata111:3306/company 【连接数据库，company是mysql的库名】

table staff 【staff 是关系数据库表名，数据从该表中获取】

target-dir /user/company \ 【导入到hdfs路径：/user/company 】

delete-target-dir \ 【如果原来有/user/company，删除原来的文件夹】

--fields-terminated-by "\t" 【设定每个字段是以什么符号作为结束的】

--lines-terminated-by "\n"

（2）查询导入

$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

尖叫提示：must contain '$CONDITIONS' in WHERE clause. 注：CONDITIONS 翻译‘条件’

尖叫提示：如果query后使用的是双引号，则$CONDITIONS前必须转义符，防止shell识别为自己的变量。

（3）导入指定列

尖叫提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

（4）使用sqoop关键字筛选查询导入数据

$bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=2"

尖叫提示：在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数，多个参数用空格隔开。

2. RDBMS到Hive

过程

mysql表导入到HDFS的当前用户目录下(相当于临时文件，在在HDFS当前用户目录【/user/root】下生成)

再从上面的临时文件复制到到指定的hive表的目录下

最后删除临时目录

参数

--table staff 【在HDFS当前用户目录【/user/root】下生成 staff，这个staff表必须在mysql数据库company下存在】

--hive-import 【必须参数，指定导入hive（没有这个条件导入到hdfs中）】

--create-hive-table 【默认是false，如果目标表已经存在了，那么创建任务会失败】

--hive-table staff_hive 1 【会自动创建这个表】

--hive-overwrite【覆盖掉在Hive表中已经存在的数据】

--fields-terminated-by 【hive的分隔符】

注意

sqoop会自动创建hive的表。但是不会自动创建不存在的库

相当于先把数据从RDBMS导入HDFS，然后再load到Hive。

$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

尖叫提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库

尖叫提示：从MYSQL到Hive，本质时从MYSQL => HDFS => load To Hive

看日志输出可以看出在执行map任务之后又执行了load data

（二）导出数据

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

1、HIVE/HDFS到RDBMS

注意：

导出到mysql中的表要是存在的，而且和hive/hdfs的表创建结构相同。

参数：

--export-dir 【导出的目录】
--table 【mysql的表名】

在mysql中创建abc表

create table abc(id int,name VARCHAR(50),sex VARCHAR(50));

$ bin/sqoop export \
--connect jdbc:mysql://bigdata111:3306/Andy \
--username root \
--password 000000 \
--export-dir /user/hive/warehouse/staff_hive1 \
--table abc \
--num-mappers 1 \
--input-fields-terminated-by "\t"

尖叫提示：Mysql中如果表不存在，不会自动创建,自行根据表结构创建

思考：数据是覆盖还是追加答案：追加

补充：SQOOP 导出Hive数据到MySQL

（三）脚本打包

使用opt格式的文件打包sqoop命令，然后执行

1) 创建一个.opt文件

$ touch job_HDFS2RDBMS.opt

在mysql的Andy数据库中创建aca表

create table abc(id int,name VARCHAR(50),sex VARCHAR(50));

2) 编写sqoop脚本

$ vi ./job_HDFS2RDBMS.opt

#以下命令是从staff_hive1中追加导入到mysql的aca表中

export
--connect
jdbc:mysql://bigdata111:3306/Andy
--username
root
--password
000000
--table
aca
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive1
--input-fields-terminated-by
"\t"