impala

作者：网易云 链接： https://www.zhihu.com/question/27696290/answer/381993207 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 什么是大数据 近几年，市场上出现了很多和大数据相关的岗位，不管是数据分析、数据挖掘，或者是数据研发，都是围绕着大数据来做事情，那么，到底什么是大数据，就是我们每一个要学习大数据技术的朋友要了解的事情了，根据百度百科的介绍 大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 [2] 思维导图 大数据方面核心技术有哪些？ 大数据的概念比较抽象，而大数据技术栈的庞大程度将让你叹为观止。 大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算

Impala和Hive的关系 　　 Impala是基于Hive的大数据实时分析查询引擎 ，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。 与Hive的关系 　　Impala 与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客户端使用来看Impala与Hive有很多的共同之处，如数据表元数 据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等。 Impala与Hive在Hadoop中的关系如下图 所示。 Hive适合于长时间的批处理查询分析 ， 而Impala适合于实时交互式SQL查询 ，Impala给数据分析人员提供了快速实验、验证想法的大数 据分析工具。可以先使用hive进行数据转换处理，之后使用Impala在Hive处理后的结果数据集上进行快速的数据分析。 　　　　　　　　　　　　 Impala相对于Hive所使用的优化技术 1、没有使用 MapReduce进行并行计算，虽然MapReduce是非常好的并行计算框架，但它更多的面向批处理模式，而不是面向交互式的SQL执行。与 MapReduce相比：Impala把整个查询分成一执行计划树，而不是一连串的MapReduce任务

3 月，跳不动了？>>> 首先要引入ImpalaJDBC41.jar包。可以网上找，也可以直接下面的地址下载。 链接：https://pan.baidu.com/s/1MTJ0Wn1pwEmtXwp-_E4gIw 提取码：j00u public static void main(String[] args) throws ClassNotFoundException, SQLException { //这个地址填写自己的impala server地址,默认端口为21050 //默认连接default库，这里是wx，使用AuthMech=0不验证用户密码 String connectionUrl = "jdbc:impala://10.xx.xx.xxx:21050/wx;AuthMech=0"; String jdbcDriverName = "com.cloudera.impala.jdbc41.Driver"; //简单的一个查询语句 String sql = "SELECT F_GNMC,COUNT(1) AS count FROM SYS_OPLOG where F_USER=?" + " GROUP BY F_GNMC order by count desc limit ?"; Connection con = DriverManager.getConnection

1.查看hdp版本，可在ambari-agent节点上查看 VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` 2.server节点上git克隆代码，其中下方$VERSION指的是上方的版本号 sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA 如果出现SSL问题，可关闭SSL验证再执行 git config --global http.sslVerify false git config --global http.sslversion tlsv1 如果你没有安装git,可到 https://github.com/cas-bigdatalab/ambari-impala-service 地址上下载代码，放到目录/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA下 如果你的git安装有任何问题，参考文章后方附录git的安装升级配置 3

安装apache的kudu 第一步：下载rpm包 http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/5.11.0/RPMS/x86_64/ 第二步：安装rpm包 [root@hadoop5 kudu]# yum -y install cyrus-sasl-plain lsb ntp [root@hadoop5 kudu]# rpm -ivh * 第三步：配置文件 配置主、从机 /etc/kudu/conf/tserver.gflagfile –tserver_master_addrs=hadoop5:7051 /etc/default/kudu-master export FLAGS_rpc_bind_addresses=hadoop5:7051 /etc/default/kudu-tserver export FLAGS_rpc_bind_addresses=hadoop6:7050 第四步：设置ntpd服务 第五步：设置目录权限 mkdir /opt/var/lib/kudu -p chown -R kudu:kudu /opt/var/lib/kudu 第六步：启动kudu [root@hadoop5 default]# /etc/init.d/kudu-master start [root@hadoop6

3 月，跳不动了？>>> Hadoop/HDFS/MapReduce/Impala 被设计用于存储和处理大量文件的场景，比如 TB 或者 PB 级别数据量的文件。大量小文件对查询性能有很大的影响，因为 NameNode 要保存大量的 HDFS 文件元数据，一次性查询很多分区或者文件的话，需要获取文件列表并一个个读取文件信息，不仅会对查询性能造成很大的影响，还可能会超过操作系统的文件描述符数量限制而导致查询失败。 因此，这就意味着我们要尽可能让文件保持很大吗？当然不是。大文件对表的性能也会有影响，原因是在大多数情况下， Hadoop 用户会压缩存储在 HDFS 中的数据，这样虽然可以节省磁盘空间，但是如果你有一个大的压缩文件，花费在解压上的时间也会导致查询变慢。 为了证明上面的说法，我在 CDH 环境中做了以下测试： 1、我准备了一个 565M 的普通 Text 格式的文件和一个使用 bzip2 压缩方式压缩的 135M 的文件，文件下载链接： Kaggle’s Flight Delay Dataset 2、我用4个这样的 bzip2 文件创建了一个名为 bzip2_smallfiles_4 的表，用8个这样的文件创建了另一个名为 bzip2_smallfiles_8 的表 3、然后，我还将这个文本文件合并4次，生成一个文本文件，使用 bzip2 对其进行压缩，大小变为大约

1、实在是在安装CDH的时候无法安装成功的话，只有重新启动了，下面给大家分享一个神器，按照这个脚本应该差不多就能卸载干净，然后重新安装，写一个脚本，内容如下，救命的神器呀： #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo service cloudera-scm-agent stop sudo yum remove cloudera-manager-agent sudo yum remove cloudera-manager-server sudo yum remove cloudera-manager-server-db-2 sudo yum remove 'cloudera-manager-*' bigtop-utils bigtop-jsvc bigtop-tomcat hadoop hadoop-hdfs hadoop-httpfs hadoop-mapreduce hadoop-yarn hadoop-client hadoop-0.20-mapreduce hue-plugins hbase hive oozie oozie

问题背景 BI 同学会用 Impala 在 Kudu 表上跑一些 ETL 任务，最近， BI 同学反馈一个 Kudu 表的 ETL 任务突然变慢，执行时间从原来的不到 1 分钟到现在的 7 分钟。 解决过程 下文中提到的软件环境为： Impala 3.2.0-cdh6.2.0 RELEASE Kudu 1.9.0-cdh6.2.0 我们主要从 SQL 语句执行的操作了解该 SQL 的复杂度，并阅读该 SQL 的 profile 信息一步步进行排查，找出产生该问题的原因。以下是排查步骤： 1、该 ETL 任务的 SQL 语句执行的是一个 UPSERT...SELECT 操作，大体结构如下： UPSERT INTO TABLE rtl_ods_test.a SELECT ... FROM rtl_ods_test.test1 LEFT JOIN ... 2、接着我们从执行该 SQL 的 impalad 节点获取 SQL 的 profile 信息， profile 信息的 Summary 部分如下： Operator #Hosts Avg Time Max Time #Rows Est. #Rows Peak Mem Est. Peak Mem Detail -----------------------------------------------------------------

前言：近年来，互联网的快速发展积累了海量大数据，而在这些大数据的处理上，不同技术栈所具备的性能也有所不同，如何快速有效地处理这些庞大的数据仓，成为很多运营者为之苦恼的问题！随着Greenplum的异军突起，以往大数据仓库所面临的很多问题都得到了有效解决，Greenplum也成为新一代海量数据处理典型代表。本文结合个推数据研发工程师李树桓在大数据领域的实践，对处理庞大的数据量时，如何选择有效的技术栈做了深入研究，探索出Greenplum是当前处理大数据仓较为高效稳定的利器。 一、Greenplum诞生的背景 时间回到2002年，那时整个互联网数据量正处于快速增长期，一方面传统数据库难以满足当前的计算需求，另一方面传统数据库大多基于SMP架构，这种架构最大的一个特点是共享所有资源，扩展性能差，因此面对日益增长的数据量，难以继续支撑，需要一种具有分布式并行数据计算能力的数据库，Greenplum正是在此背景下诞生了。 和传统数据库的SMP架构不同，Greenplum主要基于MPP架构，这是由多个服务器通过节点互联网络连接而成的系统，每个节点只访问自己的本地资源(包括内存、存储等)，是一种完全无共享(Share Nothing)结构，扩展能力较之前有明显提升。 二、解读 Greenplum架构 Greenplum 主要由

Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。 Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。 Flume-ng最明显的改动就是取消了集中管理配置的 Master 和 Zookeeper，变为一个纯粹的传输工具。Flume-ng另一个主要的不同点是读入数据和写出数据现在由不同的工作线程处理（称为 Runner）。 在 Flume-og 中，读入线程同样做写出工作（除了故障重试）。如果写出慢的话（不是完全失败）