林昊

淘宝平台架构师谈海量互联网服务技术架构(转载)

孤街醉人 提交于 2020-03-01 12:25:32
林昊,网名BlueDavy,China OSGi User Group Director,淘宝网 平台 架构部架构师,个人的研究方向主要为 Java模块化、动态化 系统 的构建以及高性能的大型分布式Java系统的构建。曾编写《OSGi实战》和《OSGi进阶》两篇Opendoc,为OSGi 在 中国 的推广起到了很大的作用。 1 U: @% ~8 @* M2 \7 @4 L7 G 王速瑜: 数据 集群问题:当数据增长到一定的数量级,必须要进行分布部署、备份、容灾、切割扩容等工作。请问什么程度的数量级需要分布部署,如何合理分布部署,需要考虑哪些情况? $ n9 c1 m0 H: y" `0 A I5 b; G4 E# J0 k 林昊: 一般来说,也没有固定的数量级,通常是根据硬件资源的状况以及所能接受的性能状况(例如一次查询必须在 3ms内完成)来决定。当达到性能瓶颈时,通常需要进行数据的拆分或备份等策略,在这个过程中最需要考虑的,就是对 应用 的影响程度,因此通常会需要一个强 大、透明的数据层,以屏蔽数据的拆分或备份、迁移操作给应用带来的影响,另外一方面就是应尽量能做到不停机完成。当然,这很难,因为需要面对多套数据结构 并存、数据冗余和同步等问题。 ; v4 W8 Q. G% t: { 王速瑜: 数据备份问题:对于大容量的数据备份, 技术 上如何做到不影响正常的 服务