hive中四种排序的区别

女生的网名这么多〃 提交于 2020-03-12 09:37:03

hive中有四种排序,分别是:order by,sort by,distribute by(重点),cluster by

order by:全局排序,但是只能有一个reduce来处理,在严格模式下必须指定limit,否则会报错,在数据量很大的时候,处理时间会很长甚至跑不出数据,慎用!

sort by:对每个reduce端的结果进行排序,但是不对全局进行排序,可以设置mapred.reduce.tasks>1的时候,对每个reduce中的数据进行排序

distribute by(重点):distribute by 类似于sql中的group by,它的作用是把distribyte by 后面的列划分到不同的reduce中去(默认hash),一般搭配sort by使用,例如
select table.a,table.b from table distribute by table.a sort by table.b asc
上述例子的作用是把a列分组,散发到不同的reduce中处理,然后再对每个reduce中的数据将b列进行排序(注意最终的结果只是每个reduce排序,总体不排序)

那么如何才能做到对整个结果进行排序但是效率更高呢?
我们不妨来这样做
select * from (select table.a,table.b from table distribute by table.a sort by table.b asc) t order by table.b
这样做的好处呢,就是可以有多个reduce来处理数据,即便在数据量巨大的时候也不会像只有一个reduce的时候那么慢,这也体现了大数据分而治之的思想!

cluster by:cluster by除了具有distribute by的功能外还兼具sort by的功能。但是排序只能是倒叙排序,不能指定排序规则为asc或者desc

以上就是我总结的hive中的排序,加油!

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!