sqoop

安装Mysql $ sudo apt-get update $ sudo apt-get -install mysql-server 初始化配置： $ sudo mysql_secure_installation 检查mysql服务状态 $ systemctl status mysql.service 安装Sqoop 第一步，下载 网页： http://www.apache.org/dyn/closer.cgi/sqoop 找到你适合的版本下载 $ sudo curl -O http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 第二步，解压并移到正确的地方，建立一个别名 $ sudo tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz $ sudo mv sqoop-1.4.7.bin__hadoop-2.6.0 /srv/ $ sudo chown -R hadoop:hadoop /srv/sqoop-1.4.7.bin__hadoop-2.6.0 $ sudo ln -s /srv/sqoop-1.4.7.bin__hadoop-2.6.0 /srv/sqoop 第三步，配置环境变量 $ sudo su hadoop $ vim

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop的基本认知 原理 将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 安装 Sqoop的安装也很简单，首先我们需要有有一个 Sqoop安装包 ，这个包老夫也提供了。 我们在如下目录中: drwxr-xr-x 2 corp corp 4096 Dec 19 2017 bin -rw-rw-r-- 1 corp corp 55089 Dec 19 2017 build.xml -rw-rw-r-- 1 corp corp 47426 Dec 19 2017 CHANGELOG.txt -rw-rw-r-- 1 corp corp 9880 Dec 19 2017 COMPILING.txt drwxr-xr-x 2 corp corp 4096 Dec 19 2017 conf drwxr-xr-x 5 corp corp 4096 Dec 19 2017 docs drwxr

一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据 ：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据 ：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。 sqoop： 工具：本质就是迁移数据， 迁移的方式：就是把sqoop的迁移命令转换成MR程序 hive 工具，本质就是执行计算，依赖于HDFS存储数据，把SQL转换成MR程序 二、工作机制 将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制 三、安装 1、前提概述 将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？ HDFS， MapReduce， YARN， ZooKeeper， Hive， HBase， MySQL 下载地址 http://mirrors.hust.edu.cn/apache/ sqoop （1）上传解压缩安装包到指定目录 [hadoop@hadoop3 ~]$ tar -zxvf sqoop-1.4.6.bin

下面来记录并分享下sqoop相关： 1、下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 2、解压安装包 tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz mv sqoop-1.99.7-bin-hadoop200.tar.gz /usr/lib/sqoop cd /usr/lib/sqoop 3、根据实际安装目录配置环境变量 export HADOOP_HOME= export HADOOP_COMMON_HOME= export HADOOP_HDFS_HOME= export HADOOP_MAPRED_HOME= export HADOOP_YARN_HOME= 如果已经配置$HADOOP_HOME变量，sqoop将会使用以下路径下的配置文件： $HADOOP_HOME/share/hadoop/common, $HADOOP_HOME/share/hadoop/hdfs, $HADOOP_HOME/share/hadoop/mapreduce and $HADOOP_HOME/share/hadoop/yarn 4、hadoop配置 修改core-site.xml配置文件：

使用安装包版本： sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 下载地址 http://www.apache.org/dyn/closer.lua/sqoop/ 一.简介 Sqoop是一种旨在在Hadoop与关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统（RDBMS）或大型机导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据导出回RDBMS 。 二.安装 1、解压sqoop [root@master app] # pwd / root / app [root@master app] # tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/ 2、环境变量 [root@master app] # vi ~/.bash_profile export SQOOP_HOME= / usr / local / src / sqoop - 1 . 4 . 7 . bin__hadoop - 2 . 6 . 0 export PATH= $PATH : $SQOOP_HOME / bin [root@master app] # source ~/.bash_profile 3