kudu使用方法

坚强是说给别人听的谎言 提交于 2020-05-02 17:42:08

使用方法:

  1. 可通过Java client、C++ client、Pythonclient操作kudu表,但要构建client并编写应用程序;
  2. 可通过kudu-spark包集成kudu与spark,并编写spark应用程序来操作kudu表;
  3. 可通过impala的shell对kudu表进行交互式的操作,因为impala2.8及以上的版本已经集成了对kudu的操作。下面主要讲述基于impala的使用方法。

 基本要求:

安装2.8及以上版本的impala,并安装hive,使用其metastore服务来存储impala的元数据。此处Hadoop、hive、impala的安装过程省略。

 注:需通过CDH 管理界面配置impala操作kudu;

基于kudu的基本操作(impala)

创建表:示例一

CREATE TABLE my_first_table
(
    id BIGINT,
    name STRING,
    PRIMARY KEY(id)
)

PARTITION BY HASH PARTITIONS 16
STORED AS KUDU;

CREATE TABLE new_table
PRIMARY KEY (ts, name)
PARTITION BY HASH(name) PARTITIONS 8
STORED AS KUDU
AS SELECT ts, name, value FROM old_table;

注:创建内部表时,类似partition by ………stored as kudu的分区声明语句是必须的。

无论是通过client创建的kudu表还是通过impala创建的表,都可以在master节点的UI界面的tables选项中查看,如下图:

数据的导入导出

kudu数据导入导出

从Kudu中导出、导入数据

Cloudera开发的又一个Hadoop系存储系统

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!