hive函数

hive字符串函数 20190910 字符替换 regexp_replace(str,'要替换字符','替换字符) select regexp_replace('2018-01-03','-','') --得到：20180103 select regexp_replace('foobar', 'oo|ar', ''); --得到：fb 参考： CSDN-正则函数：regexp_replace Hive 正则匹配函数 regexp_extract 来源： https://www.cnblogs.com/damahuhu/p/11675580.html

The function date_trunc is conceptually similar to the trunc function for numbers. date_trunc('field', source) source is a value expression of type timestamp or interval . (Values of type date and time are cast automatically, to timestamp or interval respectively.) field selects to which precision to truncate the input value. The return value is of type timestamp or interval with all fields that are less significant than the selected one set to zero (or one, for day and month). Valid values for field are: microseconds milliseconds second minute hour day week month quarter year decade century

Hive 快速入门(全面) 2018-07-30 16:11:56 琅琊山二当家 阅读数 4343 更多 分类专栏： hadoop 大数据 转载: https://www.codercto.com/a/5110.html 前言 我写这篇文章的目的是尽可能全面地对Hive进行入门介绍，这篇文章是基于hive-1.0.0版本介绍的，这个版本的Hive是运行在MapReduce上的，新的版本可以运行在Tez上，会有一些不同。 Hive是对数据仓库进行管理和分析数据的工具。但是大家不要被“数据仓库”这个词所吓倒，数据仓库是很复杂的东西，但是如果你会 MYSQL 或者MSSQL，就会发现Hive是那么的简单，简单到甚至不用学就可以使用Hive做出业务所需要的东西。 但是Hive和MYSQL毕竟不同，执行原理、优化方法，底层架构都完全不相同。 大数据离线分析使用Hive已经成为主流，基于工作中Hive使用的经验，我整理了这个入门级别的文章，希望能给想入门的同学提供一些帮助。 一、Hive简介 Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给了 Apache 软件基金会。 官网定义： The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large

Hive–数据仓库工具 1.Hive核心架构 2.Hive开发环境和使用方式 3.Hive核心原理解析 4.核心概念 5.HQL查询详解 6.Hive批处理脚本开发 7.Hive函数详解 8.高级特性与调优 原文: 大专栏 Hive --数据仓库工具 来源： https://www.cnblogs.com/petewell/p/11597681.html

字符串函数 1. 字符串长度函数：length 语法: length(string A) 返回值: int 说明：返回字符串A的长度 举例： hive> select length('abcedfg') from lxw_dual; 7 2. 字符串反转函数：reverse 语法: reverse(string A) 返回值: string 说明：返回字符串A的反转结果 举例： hive> select reverse(abcedfg’) from lxw_dual; gfdecba 3. 字符串连接函数：concat 语法: concat(string A, string B…) 返回值: string 说明：返回输入字符串连接后的结果，支持任意个输入字符串 举例： hive> select concat(‘abc’,'def’,'gh’) from lxw_dual; abcdefgh 4. 带分隔符字符串连接函数：concat_ws 语法: concat_ws(string SEP, string A, string B…) 返回值: string 说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符 举例： hive> select concat_ws(',','abc','def','gh') from lxw_dual; abc,def,gh 5.

复合类型构建操作 1. Map类型构建: map 语法: map (key1, value1, key2, value2, …) 说明：根据输入的key和value对构建map类型 举例： hive> Create table lxw_test as select map('100','tom','200','mary') as t from lxw_dual; hive> describe lxw_test; t map<string,string> hive> select t from lxw_test; {"100":"tom","200":"mary"} 2. Struct类型构建: struct 语法: struct(val1, val2, val3, …) 说明：根据输入的参数构建结构体struct类型 举例： hive> create table lxw_test as select struct('tom','mary','tim') as t from lxw_dual; hive> describe lxw_test; t struct<col1:string,col2:string,col3:string> hive> select t from lxw_test; {"col1":"tom","col2":"mary","col3":"tim"} 3.

Hive概念 Hive最适合于数据仓库应用程序，使用该应用程序进行相关静态数据分析，不需要快速响应出结果，而数据本身不会发生频繁变化。 Hdfs分布式文件系统限制了hive，使其不支持记录级别的更新、插入、删除。但是支持用户通过查询生成新表或者将查询结果导入文件中。 Hive的查询延迟较高，且不支持事物。 Hive不支持OLTP(联机事物处理)，更接近为一个OLAP(连接分析技术)工具。 大多数数据仓库应用程序是基于sql的关系型数据实现的。所以hive降低了这些应用程序移植到Hadoop上的障碍。 Hive不仅仅提供了一个熟悉的sql的用户所熟悉的编程模型，还消除了大量通用的重复代码。 当需要启动mapReduce任务时，hive本身是不会生成Java的mapReduce的算法程序的。相反Hive通过一个表示“job的执行计划”的xml文件驱动执行内置的原生的mapper和reducer模块。 一、关系运算： 1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive> select 1 from lxw_dual where 1=1; 1 2. 不等值比较: <> 语法: A <> B 操作类型: 所有基本类型 描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式 举例： hive> select from_unixtime(1323308943,'yyyyMMdd') from dual; 20111208 2.获取当前UNIX时间戳函数: unix_timestamp语法: unix_timestamp() 返回值: bigint 说明: 获得当前时区的UNIX时间戳 举例： hive> select unix_timestamp() from dual; 1323309615 3.日期转UNIX时间戳函数: unix_timestamp语法:unix_timestamp(string date) 返回值: bigint 说明: 转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败，则返回0。 举例： hive> select unix_timestamp('2011-12-07 13:01:03') from dual; 1323234063 4.指定格式日期转UNIX时间戳函数: unix

该函数可以支持hive调用java的内置函数， demo，可支持在hive表中生成uuid， regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "") uuid 还可以通过传字段生成求最大值等 select reflect("java.lang.Math","max",column1,column2) from test_udf 可以说有了该函数，hive和java之间简直畅通无阻，之前不知道有这么个函数，走了很多冤路。 有了它，妈妈再也不用担心我搞不定任务大数据BI问题了，一个可以让领导也放心的函数 来源： https://www.cnblogs.com/xinyumuhe/p/11328116.html