https://blog.csdn.net/qq_39869388/article/details/80422472
去重：
select date,phone from (select *,row_number() over (partition by phone order by date) num from tmp_table1) t where t.num=1
第一步：select *,row_number() over (partition by phone order by date) num from tmp_table1
按照phone 去重，date排序
第二步：num=1
就是留下num=1 的数据，起到去重
生成排序：
场景是需要基于xx字段排序，生成序列号，也用row_number
select *,row_number() over (order by date) num from tmp_table1
https://blog.csdn.net/weixin_42379136/article/details/86675049
RANK， DENSE_RANK， ROW_NUMBER都是把表中的行按分区内的排序标上序号，但有一点差别：
RANK：可以生成不连续的序号，比如按分数排序，第一第二都是100分，第三名98分，那第一第二就会显示序号1，第三名显示序号3。
DENSE_RANK： 生成连续的序号，在上一例子中，第一第二并列显示序号1，第三名会显示序号2。
ROW_NUMBER: 顾名思义就是行的数值，在上一例子中，第一第二第三将会显示序号为1,2,3。
下面的例子帮助理解，按年级分组，分数降序排列，分别新建列RANK, DENSE_RANK, ROW_NUMBER:
考试成绩排名
姓名 年级 分数 RANK DENSE_RANK ROW_NUMBER
张三 一年级 100 1 1 1
李四 一年级 100 1 1 2
王五 一年级 98 3 2 3
小明 二年级 100 1 1 1
小芳 二年级 95 2 2 2
小民 二年级 90 3 3 3
sparkSession.sql("SELECT * , " +
"RANK() OVER (PARTITION BY grade ORDER BY score DESC) AS rank, " +
"DENSE_RANK() OVER (PARTITION BY grade ORDER BY score DESC) AS dense_rank, " +
"ROW_NUMBER() OVER (PARTITION BY grade ORDER BY score DESC) AS row_number " +
"FROM ScoreDetail").show()
来源：CSDN
作者：我家小宝_朱朱
链接：https://blog.csdn.net/zhuchunyan_aijia/article/details/104157737