大数据量系统的设计思路

白昼怎懂夜的黑 提交于 2020-01-16 02:53:28

1,按照分布式,拆分,将一个工作拆分成多个小工作,每个job作为一个服务,每个服务部署多点----最优

2,多线程,纤尘处理

3,异步

4,redis缓存---固定数据缓存

5,设计复杂查询的用elactissearch缓存---查询聚合汇总

6,数据记录数据库或者log文件,用于比对---定期同步数据

7,日志可以积累一定数量批量发送

8,统计数据可以提前预处理

9,用clickhouse等作为BI报表数据

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!