sqoop | 易学教程

Sqoop -- 用于Hadoop与关系数据库间数据导入导出工作的工具

阅读更多关于 Sqoop -- 用于Hadoop与关系数据库间数据导入导出工作的工具

转： https://blog.csdn.net/qx12306/article/details/67014096 Sqoop是一款开源的工具，主要用于在Hadoop相关存储（HDFS、Hive、HBase）与传统关系数据库（MySql、Oracle等）间进行数据传递工作。Sqoop最早是作为Hadoop的一个第三方模块存在，后来被独立成为了一个Apache项目。除了关系数据库外，对于某些NoSQL数据库，Sqoop也提供了连接器。一、Sqoop基础知识　　Sqoop项目开始于2009年，可以在Hadoop相关存储与传统关系数据库之间进行数据导入导出工作。Sqoop会开启多个MapReduce任务来并行进行数据导入导出工作，提高工作效率。二、Sqoop安装　　本实例安装版本： sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 。 1、将安装文件上传到/usr/local/目录下并解压，然后重命名为sqoop。 2、配置环境变量，执行命令：vi /etc/profile，增加export $SQOOP_HOME=/usr/local/bin，并在export PATH中增加$PIG_HOME/bin，然后执行命令：source /etc/profile使配置文件立即生效。 3、将需要连接的数据库驱动文件拷贝至lib目录下

hadoop-sqoop

阅读更多关于 hadoop-sqoop

使用sqoop查询mysql中数据库： sqoop list-databases --connect jdbc:mysql://172.19.79.154:3306/hive??characterEncoding = UTF-8 --username root --password '123456' 使用sqoop查询mysql中数据库的表： sqoop list-tables --connect jdbc:mysql://172.19.79.154:3306/hello?characterEncoding = UTF-8 --username root --password '123456' 来源： CSDN 作者： ty-boy 链接： https://blog.csdn.net/weixin_45313105/article/details/103766460

Sqoop工具模块之sqoop-export

阅读更多关于 Sqoop工具模块之sqoop-export

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Sqoop工具模块之sqoop-export 一、介绍该export工具将一组文件从HDFS导入RDBMS。目标表必须已经存在于数据库中。根据用户指定的分隔符读取输入文件并将其解析为一组记录。 1、模式 sqoop-export有三种模式：默认模式：将它们转换为一组将INSERT语句注入数据库的语句。更新模式：Sqoop将生成UPDATE替换数据库中现有记录的语句。调用模式：Sqoop将为每条记录创建一个存储过程调用。 2、语法和之前的导入工具一样，sqoop-export也有两种语法： sqoop export (generic-args) (export-args) sqoop-export (generic-args) (export-args) 二、参数 1、常用参数 --connect <jdbc-uri>：指定JDBC连接的数据库地址。 --connection-manager <class-name>：指定要使用的连接管理器类。 --driver <class-name>：手动指定要使用的JDBC驱动类。 --hadoop-mapred-home <dir>：指定$ HADOOP_MAPRED_HOME路径 --help：打印使用说明 --password-file

Import BLOB (Image) from oracle to hive

阅读更多关于 Import BLOB (Image) from oracle to hive

问题 I am trying to import BLOB(Image)data form oracle to Hive using below Sqoop command. sqoop import --connect jdbc:oracle:thin:@host --username --password --m 3 --table tablename --hive-drop-import-delims --hive-table tablename --target-dir '' --split-by id; But unsuccessful. Remember, BLOB Data stored in oracle database as Hexadecimal and we need to store this to Hive table as text or bianary. What are the possible way to do that? 回答1: Sqoop does not know how to map blob datatype in oracle

Import BLOB (Image) from oracle to hive

阅读更多关于 Import BLOB (Image) from oracle to hive

sqoop job shell script execute parallel in oozie

阅读更多关于 sqoop job shell script execute parallel in oozie

问题 I have a shell script which executes sqoop job . The script is below. !#/bin/bash table=$1 sqoop job --exec ${table} Now when I pass the table name in the workflow I get the sqoop job to be executed successfully. The workflow is below. <workflow-app name="Shell_script" xmlns="uri:oozie:workflow:0.5"> <start to="shell"/> <kill name="Kill"> <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> </kill> <action name="shell_script"> <shell xmlns="uri:oozie:shell

sqoop fails to store incremental state to the metastore

阅读更多关于 sqoop fails to store incremental state to the metastore

问题 I get this on saving incremental import state 16/05/15 21:43:05 INFO tool.ImportTool: Saving incremental import state to the metastore 16/05/15 21:43:56 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Error communicating with database at org.apache.sqoop.metastore.hsqldb.HsqldbJobStorage.createInternal(HsqldbJobStorage.java:426) at org.apache.sqoop.metastore.hsqldb.HsqldbJobStorage.update(HsqldbJobStorage.java:445) at org.apache.sqoop.tool.ImportTool

22_Sqoop数据迁移工具

阅读更多关于 22_Sqoop数据迁移工具

Sqoop数据迁移工具准备：安装好对应版本的mysql 安装好对应版本的hadoop集群安装好对应版本的hive 1. Sqoop是什么 Sqoop是apache旗下的一款 ” Hadoop和关系数据库之间传输数据 ”的工具导入数据 import 将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据 export 从Hadoop的文件系统中导出数据到关系数据库 2. Sqoop的工作机制将导入和导出的命令翻译成mapreduce程序实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 3. Sqoop基本架构 sqoop在发展中的过程中演进出来了两种不同的架构. 架构演变史 sqoop1的架构图版本号为1.4.x0 sqoop2的架构图版本号为1.99x为sqoop2 在架构上：sqoop2引入了sqoop server，对connector实现了集中的管理访问方式：REST API、 JAVA API、 WEB UI以及CLI控制台方式进行访问 4. Sqoop安装部署 Sqoop安装很简单，解压好进行简单的修改就可以使用 1、下载安装包 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar

sqoop import from vertica failed

阅读更多关于 sqoop import from vertica failed

问题 I am trying to import dataset from Vertica to HDFS using sqoop2. I a running following query on sqoop machines to import data into hdfs from Vertica v6.0.1-7 sqoop import -m 1 --driver com.vertica.jdbc.Driver --connect "jdbc:vertica://10.10.10.10:5433/MYDB" --password dbpassword --username dbusername --target-dir "/user/my/hdfs/dir" --verbose --query 'SELECT * FROM ORDER_V2 LIMIT 10;' but i am getting some error here, 16/02/03 10:33:17 ERROR tool.ImportTool: Encountered IOException running

sqoop installation error on fedora 15

阅读更多关于 sqoop installation error on fedora 15

问题 I am trying to install sqoop on my machine,i downloaded tar file from here and trying to install by seeing here So when i tried the below command i getting the error as below [root@065 local]# (cd /usr/local/ && sudo tar \-zxvf _</home/local/user/Desktop/sqoop-1.4.2.bin__hadoop-0.20.tar.gz>_) Error gzip: stdin: unexpected end of file tar: Child returned status 1 tar: Error is not recoverable: exiting now What wrong with the above command ? Can anyone please let me know the easiest way of