sqoop把hive数据导入mysql出现中文乱码

你离开我真会死。 提交于 2020-08-11 08:09:29

使用 sqoop 将 hive 数据导入 mysql 后出现乱码:
在这里插入图片描述
进入数据库,输入 show variables like 'character%'; 回车

在这里插入图片描述
我这里有两种解决办法,如下

方法1:修改数据库配置文件

(1)在下面这个位置添加几行配置

vim /etc/my.cnf

在这里插入图片描述

init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake

(2)重启 mysql 服务

systemctl restart mysqld.service(我这里centos7)
或
service mysqld restart(centos6)

再次查看编码:
在这里插入图片描述
之后再执行命令的时候在mysql数据库名后面加上?useUnicode=true&characterEncoding=utf-8就可以了。
示例:sqoop export --connect "jdbc:mysql://数据库ip:3306/数据库名称?useUnicode=true&characterEncoding=utf-8" ...


sqoop-export \
--connect "jdbc:mysql://localhost:3306/lft?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password 123456 \
--table test3 \
--export-dir /user/hive/warehouse/hadoop.db/test3 \
--input-fields-terminated-by '\001';

在这里插入图片描述

方法2:两行命令快速搞定

用下面两行命令代替修改配置文件的步骤,然后执行命令的时候也加上?useUnicode=true&characterEncoding=utf-8就OK了。

set character_set_database=utf8;
set character_set_server=utf8;
标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!