Impala 如何使用 Hadoop 文件格式
Impala 支持几种熟悉的 Apache Hadoop 中使用的文件格式。Impala 可以加载或查询其他 Hadoop 组件如 Pig 或 MapReduce 产生的数据文件，并且 Impala 产生的数据文件也可以被其他组件使用。下面的章节讨论 Impala 使用各种文件格式的步骤、限制和性能注意事项。
Impala 表使用的文件格式具有重要的性能意义。一些文件格式包括压缩支持，会影响到硬盘上数据的大小，因此，也影响反序列化数据时所需的 I/O 和 CPU 资源的数量。因为查询通常以移动和解压缩数据开始，所需的 I/O 和 CPU 资源是查询性能的限制因素。为了避免处理过程中这一部分潜在的冲突，数据通常进行压缩。通过压缩数据，更小的字节数从硬盘传输给内存。这减少了传输数据的时间，但应权衡考虑 CPU 解压缩内容的时间。
Impala 可以查询 Hadoop 中最通用的文件编码和压缩编码(Impala can query files encoded with most of the popular file formats and compression codecs used in Hadoop)。Impala 可以创建并插入数据到部分而不是全部文件格式；对于 Impala 无法写入的文件格式，在 Hive 中创建这些表，在 impala-shell 中执行 INVALIDATE METADATA 语句，并通过 Impala 查询这些表。文件格式可以是结构化的，他们可能包含元数据和内置的压缩支持。支持的文件格式包括：
| File Type | Format | Compression Codecs | Impala Can CREATE? | Impala Can INSERT? |
|---|---|---|---|---|
| Parquet | Structured | Snappy, GZIP; currently Snappy by default | Yes. | 支持：CREATE TABLE, INSERT, 查询 |
| Text | Unstructured | LZO | Yes. 不指定 STORED AS 子句的 CREATE TABLE 语句，默认的文件格式就是未压缩文本，使用 ASCII 0x01 字符进行分割(通常对应 Ctrl-A). | 支持：CREATE TABLE, INSERT, 查询。如果使用 LZO 压缩，则必须在 Hive 中创建表和加载数据 |
| Avro | Structured | Snappy, GZIP, deflate, BZIP2 | No, create using Hive. | 仅支持查询，在 Hive 中加载数据 |
| RCFile | Structured | Snappy, GZIP, deflate, BZIP2 | Yes. | 仅支持查询，在 Hive 中加载数据 |
| SequenceFile | Structured | Snappy, GZIP, deflate, BZIP2 | Yes. | 仅支持查询，在 Hive 中加载数据 |
Impala 支持下列压缩编解码器：
- Snappy. 因其在压缩比和解压速度间的有效平衡而推荐。Snappy 压缩非常快，而 GZIP 压缩比更高
- GZIP. 期望达到最大压缩比(最少硬盘空间)时推荐
- Deflate.
- BZIP2.
-
LZO, 仅支持文本文件。Impala 可以查询 LZO 压缩文本文件表，但目前无法创建和插入数据；在 Hive 中执行这些操作
选择表的文件格式
不同的文件格式和压缩编解码器适合不同的数据集。尽管无论文件格式如何，Impala 通常可以提升性能收益，但是为你的数据选择合适的格式可以获得进一步的性能提升。 对于特定的表，考虑以下因素来确定采用哪种文件格式和压缩方式的组合：
- 假如你正在使用的文件是已经支持的文件格式，实用起见 Impala 表应采用相同的格式。加入原始的文件格式无法提供可接受的查询性能和资源使用，考虑创建一个使用不同文件格式和压缩特征的新表，并使用 INSERT 语句通过复制数据文件到新表做一次转换。依赖于文件格式的不同，你可能需要在 impala-shell 或 Hive 中执行 INSERT 语句
- 文本文件格式可以使用多种工具方便的生成，并且人类可读易于严重和调试。这些特性就是为什么文本文件是 Impala CREATE TABLE 语句的默认格式。当性能和资源使用是主要考虑时，使用其他格式之一并考虑压缩。一个典型的工作流可能涉及通过复制 CSV 或 TSV 文件到对应的数据目录把数据存入 Impala 表中，然后使用 INSERT ... SELECT 语法复制数据到使用其他更紧凑的文件格式的表中
- 假如你的架构涉及到存放在内存中被查询的数据，不要进行压缩。这时没有 I/O 节省因为不需要把数据移动到硬盘上，但是解压数据会有 CPU 成本
来源：oschina
链接：https://my.oschina.net/u/117818/blog/192664