hive窗口函数

Impala和Hive的关系 　　 Impala是基于Hive的大数据实时分析查询引擎 ，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。 与Hive的关系 　　Impala 与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，但从客户端使用来看Impala与Hive有很多的共同之处，如数据表元数 据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等。 Impala与Hive在Hadoop中的关系如下图 所示。 Hive适合于长时间的批处理查询分析 ， 而Impala适合于实时交互式SQL查询 ，Impala给数据分析人员提供了快速实验、验证想法的大数 据分析工具。可以先使用hive进行数据转换处理，之后使用Impala在Hive处理后的结果数据集上进行快速的数据分析。 　　　　　　　　　　　　 Impala相对于Hive所使用的优化技术 1、没有使用 MapReduce进行并行计算，虽然MapReduce是非常好的并行计算框架，但它更多的面向批处理模式，而不是面向交互式的SQL执行。与 MapReduce相比：Impala把整个查询分成一执行计划树，而不是一连串的MapReduce任务

聚合函数： 例如sum()、avg()、max()等，这类函数 可以将多行数据按照规则聚集为一行 ，一般来讲聚集后的行数是要少于聚集前的行数的。 窗口函数： 既能显示聚集前的数据，又能显示聚集后的数据 。窗口函数又叫OLAP函数/分析函数，窗口函数 兼具分组和排序功能 。 ​ 窗口函数最重要的关键字是 partition by 和 order by。 核心语法：over (partition by xxx order by xxx) 案例【求和】 原始数据： --只使用聚合函数sum来对数据进行操作 select sum(pv) from itcast_t1; 结果如下： --sum函数搭配窗口函数的使用【根据cookieid分组，根据createtime排序】 select cookieid,createtime,pv, sum(pv) over(partition by cookieid order by createtime) as pv1 from itcast_t1; 结果： --此时sum聚合：默认是第一行到当前行聚合 --还可以通过window子句 来控制聚合的行的范围：rows between含义,也叫做window子句 --除了sum之外 avg max min都可以配合窗口函数使用 来源： CSDN 作者： ponslee 链接： https://blog

窗口分析函数 sum() over() : 可以实现在窗口中进行逐行累加 测试数据: 这个是网上比较经典的案例了 2: jdbc:hive2://hadoop-03:10000> select * from t_access_amount; +----------------------+------------------------+-------------------------+--+ | t_access_amount.uid | t_access_amount.month | t_access_amount.amount | +----------------------+------------------------+-------------------------+--+ | A | 2015-01 | 33 | | A | 2015-02 | 10 | | A | 2015-03 | 20 | | B | 2015-01 | 30 | | B | 2015-02 | 15 | | B | 2015-03 | 45 | | C | 2015-01 | 30 | | C | 2015-02 | 40 | | C | 2015-03 | 30 | +----------------------+------------------------+----------

窗口函数从小白到精通 到底什么是窗口函数 : 在进行分组聚合以后 ， 我们还想操作集合以前的数据 使用到窗口函数简单来说就是新开辟一个窗口进行操作 1. 相关函数说明 over()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化 current row：当前行 current row n preceding：往前n行数据 n preceding n following：往后n行数据 n following unbounded：起点，unbounded preceding 表示从前面的起点， unbounded following表示到后面的终点 unbound preceding unbound following lag(col,n)：往前第n行数据 lag 参数一 字段 n lead(col,n)：往后第n行数据 lead ntile(n)：把有序分区中的行分发到指定数据的组中，各个组有编号，编号从1开始，对于每一行，ntile返回此行所属的组的编号。注意：n必须为int类型。 ntile(5) 2． 数据准备 ：表格名称为 business name，orderdate，cost jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017

一. 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended upper; 二. 自定义函数 1.分类 1.1 用户自定义函数类别分为以下三种： （1）UDF（User-Defined-Function） 一进一出 （2）UDAF（User-Defined Aggregation Function） 聚集函数，多进一出 类似于：count/max/min （3）UDTF（User-Defined Table-Generating Functions）一进多出 如 lateral view explore() 1.2官方文档地址 https://cwiki.apache.org/confluence/display/Hive/HivePlugins 1.3 编程步骤 （1）继承 org.apache.hadoop.hive.ql.UDF （2）需要实现 evaluate 函数；evaluate 函数支持重载； （3）在 hive 的命令行窗口创建函数 a）添加 jar add jar linux_jar_path b）创建 function create [temporary]

Hive中提供了越来越多的分析函数，用于完成负责的统计分析。 今天简单整理一下，以务以后自己快速查询，也给看到的朋友作个参考。 分析函数主要用于实现分组内所有和连续累积的统计。 一. AVG，MIN，MAX，和SUM 如果不指定ROWS BETWEEN,默认为从起点到当前行; 如果不指定ORDER BY，则将分组内所有值累加; 关键是理解ROWS BETWEEN含义,也叫做WINDOW子句： PRECEDING：往前 FOLLOWING：往后 CURRENT ROW：当前行 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING：表示到后面的终点 二. NTILE,ROW_NUMBER,RANK,DENSE_RANK 1） NTILE NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值 NTILE不支持ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) 如果切片不均匀，默认增加第一个切片的分布 2）ROW_NUMBER ROW_NUMBER() –从1开始，按照顺序，生成分组内记录的序列，比如，按照pv降序排列

一. 空字段赋值 1. 函数说明 NVL：给值为NULL的数据赋值，它的格式是NVL( value，default_value)。它的功能是如果value为NULL，则NVL函数返回default_value的值，否则返回value的值，如果两个参数都为NULL ，则返回NULL。 2. 案例 -- 如果员工的comm为NULL，则用-1代替 select comm,nvl(comm, -1) from emp; -- 如果员工的comm为NULL，则用领导id代替 select comm, nvl(comm,mgr) from emp; 二. case when 1. 函数说明 2. 案例 -- 求出不同部门男女各多少人 select dept_id, sum(case sex when '男' then 1 else 0 end) male_sum, sum(case sex when '女' then 1 else 0 end) female_sum from emp_sex group by dept_id; 三. 行转列(concat) 1. 函数说明 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的

窗口函数 1．相关函数说明 COVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化 CURRENT ROW：当前行 n PRECEDING：往前n行数据 n FOLLOWING：往后n行数据 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING表示到后面的终点 LAG(col,n)：往前第n行数据 LEAD(col,n)：往后第n行数据 NTILE(n) ：把有序分区中的行分发到指定数据的组中，各个组有编号，编号从 1 开始，对于每一行， NTILE 返回此行所属的组的编号。 注意： n 必须为 int 类型。 2．数据准备：name，orderdate，cost jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017-01-05,46 jack,2017-04-06,42 tony,2017-01-07,50 jack,2017-01-08,55 mart,2017-04-08,62 mart,2017-04-09,68 neil,2017-05-10,12 mart,2017-04-11,75 neil,2017-06-12,80 mart,2017-04-13

https://cwiki.apache.org/confluence/display/Hive/LanguageManual 一、创建表 create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; describe formatted student; load data local inpath '/opt/datas/student.txt' into table test.student; 二、函数 show functions; describe function extended upper; select id, upper(name) from test.student; 三、设置 cat .hiverc set hive.cli.print.header=true; set hive.cli.print.current.db=true; hive --hiveconf hive.root.logger=INFO,console 四、hive数据仓库位置配置 默认位置 /user/hive/warehouse 注意： 在仓库目录下，没有对默认的数据库default创建文件夹； 如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹

文章目录 1.概念： 2.HIVE架构 3.HIVE实操 3.1 Hive JDBC服务 4、Hive的DDL操作 4.1 hive的数据库DDL操作 4.1.1、创建数据库 4.1.2、显示数据库 4.1.3、查询数据库 4.1.4、查看数据库详情 4.1.5、显示数据库详细信息 4.1.6、切换当前数据库 4.1.7、删除数据库 4.2 hive的表DDL操作 4.2.1 、建表语法介绍 4.2.1.1、 4.2.1.2、 hive建表语法中的分隔符设定 4.2.1.4 查询出每个电影的第二个主演 4.2.1.5查询每部电影有几名主演 4.2.1.6 主演里面包含古天乐的电影 例题解析 4.2.2 、字段解释说明 4.2.3、 创建内部表 4.2.4、 创建外部表 4.2.5、 内部表与外部表的互相转换 4.2.6、 内部表与外部表的区别 例1：有以下格式的数据创建出合适的表结构，并将数据导入表中 1建表： 2导入数据 3 查询出每个人的id,名字,居住地址 例2 有以下格式的数据创建出合适的表结构，并将数据导入表中 1. 建表 2. 导入数据 例3 1.概念： Hive由Facebook开源，用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个 数据仓库工具 ，可以将 结构化的数据文件映射为一张表 ，并提供类SQL查询功能。 本质是： 将Hive