Hive留存率计算

匿名 (未验证) 提交于 2019-12-02 23:52:01

点击这里

首先用户留存率一般是面向新增用户的概念,是指某一天注册后的几天还是否活跃,是以每天为单位进行计算的.
一般收到的需求都是一个时间段内的新增用户的几天留存

(1)找到这个时间段内的新增用户(也可能含有地区啊的各种附加条件),一般在日活表中有记录是否是新增状态.
  注意,需要以天为单位进行分组找出用户的id.因为留存率都是以每天为单位进行计算的.
  表结构(register_date,user_id)

(2)找到这个时间段内的活跃用户(active_date,user_id)

(3)以 1表 为主表left join 2表 以user_id为关联键,统计留存数

  这样后的记录类型为:register_date,user_id,active_date

  register_date为新增日期,即留存率的单位天.

  user_id为用户id,distinct user_id来计算用户数

留存率怎么算?
  active_date - register_date = 1,说明注册的次日用户是活跃的,所以count+1
  所以我们只要关注 active_date 和 register_date 相差天数即可统计留存数
  取天数差的时候用datediff(active_date,register_date)来计算,active_date 和 register_date 的格式为 yyyy-MM-dd

(4)计算留存率

代码模板:原文中存在一些小错误,已改正,group by 中的数字我这边是报错的,所以可直接替换为对象的列名

  1. SET mapreduce.job.queuename=xxx;
  2. SET mapreduce.job.name=xxx;
  3. set mapreduce.job.reduces=19;
  4. --'日期', '注册用户数', '次日留存率', '2日留存率', '3日留存率'
  5. select dim_date
  6. ,node_id
  7. ,total_cnt
  8. ,concat_ws('% | ', cast(round(dif_1cnt*100/total_cnt, 2) as string), cast(dif_1cnt as string))
  9. ,concat_ws('% | ', cast(round(dif_2cnt*100/total_cnt, 2) as string), cast(dif_2cnt as string))
  10. ,concat_ws('% | ', cast(round(dif_3cnt*100/total_cnt, 2) as string), cast(dif_3cnt as string))
  11. ,concat_ws('% | ', cast(round(dif_4cnt*100/total_cnt, 2) as string), cast(dif_4cnt as string))
  12. from
  13. (
  14. select p1.state dim_date
  15. ,p1.node_id
  16. ,count(distinct p1.user_id) total_cnt
  17. ,count(distinct if(datediff(p3.state,p1.state) = 1, p1.user_id, null)) dif_1cnt
  18. ,count(distinct if(datediff(p3.state,p1.state) = 2, p1.user_id, null)) dif_2cnt
  19. ,count(distinct if(datediff(p3.state,p1.state) = 3, p1.user_id, null)) dif_3cnt
  20. ,count(distinct if(datediff(p3.state,p1.state) = 4, p1.user_id, null)) dif_4cnt
  21. from
  22. (
  23. select
  24. from_unixtime(unix_timestamp(cast(partition_date as string), 'yyyyMMdd'), 'yyyy-MM-dd') state,
  25. user_id,
  26. node_id
  27. from user_active_day
  28. where partition_date between date1 and date2
  29. and user_is_new = 1
  30. group by 1,2,3 --如果不行用字段替换,group by去重优于distinct
  31. )p1 --日新增用户名单(register_date,user_id)
  32. left outer join
  33. (
  34. select
  35. from_unixtime(unix_timestamp(cast(partition_date as string), 'yyyyMMdd'), 'yyyy-MM-dd') state,
  36. user_id,
  37. node_id
  38. from active_users
  39. where partition_date between date1 and date2
  40. group by 1,2,3
  41. )p3 --期间活跃用户(active_date,user_id)
  42. on (p3.user_id = p1.user_id and p3.node_id=p1.node_id)
  43. group by 1,2
  44. ) p4;

文章来源: https://blog.csdn.net/CPLwin/article/details/97285409
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!