hive count distinct count(distinct Columns) Columns为多列时慎用，有坑！！！

1，问题

       表中实际无重复数据，但是经过count(distinct imei,wifi,ssid)，数据量变少了。

 

2，原因

     distinct 多列时任意列为null值，均返回null，hive的count()函数对空值是不做处理的，所以数据减少

3，验证

   

4，解决办法

    4.1，将distinct后列用小括号括起来（所有列均为null时仍然不计数）

        count(distinct (x,y,z))

    4.2，将distinct后存在null值的列用nvl处理（要清楚知道可能存在null的列，nvl处理后结果尽量设置成不同的值，否则会有误差）

        count(distinct x,nvl(y,0),z)           count(distinct x,nvl(y,0),nvl(z,1))

来源：CSDN

作者：木给哇啦丶

链接：https://blog.csdn.net/lquarius/article/details/104114359