分布式缓存

文章目录 概述 作者简介 一、大型分布式网站架构技术 1、大型网站的特点 2、大型网站架构目标 3、大型网站架构模式 4、高性能架构 5、高可用架构 6、可伸缩架构 7、可扩展架构 8、安全架构 9、敏捷性 10、大型架构举例 二、大型电商网站系统架构演变过程 1、最开始的网站架构 2、应用、数据、文件分离 3、利用缓存改善网站性能 4、使用集群改善应用服务器性能 5、数据库读写分离和分库分表 6、使用CDN和反向代理提高网站性能 7、使用分布式文件系统 8、使用NoSQL和搜索引擎 9、将应用服务器进行业务拆分 10、搭建分布式服务 三、一张图说明电商架构 四、大型电商网站架构案例 概述 本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。 作者简介 烂皮猪，十余年工作经验，曾在Google等外企工作过几年，精通Java、分布式架构，微服务架构以及数据库，最近正在研究大数据以及区块链，希望能够突破到更高的境界 一、大型分布式网站架构技术 1、大型网站的特点 用户多，分布广泛 大流量，高并发 海量数据，服务高可用 安全环境恶劣，易受网络攻击 功能多，变更快，频繁发布 从小到大，渐进发展 以用户为中心 免费服务，付费体验 2

分布式缓存集群方案特性使用场景（Memcache/Redis(Twemproxy/Codis/Redis-cluster)）优缺点对比及选型 分布式缓存特性： 1) 高性能:当传统数据库面临大规模数据访问时,磁盘I/O 往往成为性能瓶颈,从而导致过高的响应延迟.分布式缓存将高速内存作为数据对象的存储介质,数据以key/value 形式存储,理想情况下可以获得DRAM 级的读写性能; 2) 动态扩展性:支持弹性扩展,通过动态增加或减少节点应对变化的数据访问负载,提供可预测的性能与扩展性;同时,最大限度地提高资源利用率; 3) 高可用性:可用性包含数据可用性与服务可用性两方面.基于冗余机制实现高可用性,无单点失效(single point of failure),支持故障的自动发现,透明地实施故障切换,不会因服务器故障而导致缓存服务中断或数据丢失.动态扩展时自动均衡数据分区,同时保障缓存服务持续可用; 4) 易用性:提供单一的数据与管理视图;API 接口简单,且与拓扑结构无关;动态扩展或失效恢复时无需人工配置;自动选取备份节点;多数缓存系统提供了图形化的管理控制台,便于统一维护; 5) 分布式代码执行(distributed code execution):将任务代码转移到各数据节点并行执行,客户端聚合返回结果,从而有效避免了缓存数据的移动与传输.最新的Java 数据网格规范JSR

分布式缓存概述 分布式缓存提供的数据内存缓存可以分布于大量单独的物理机器中。换句话说，分布式缓存所管理的机器实际上就是一个集群。它负责维护集群中成员列表的更新，并负责执行各种操作，比如说在集群成员发生故障时执行故障转移，以及在机器重新加入集群时执行故障恢复。 　　分布式缓存支持一些基本配置：重复（replicated）、分配（partitioned）和分层（tiered）。重复（Replication）用于提高缓存数据的可用性。在这种情况下，数据将重复缓存在分布式系统的多台成员机器上，这样只要有一个成员发生故障，其他成员便可以继续处理该数据的提供。另一方面，分配（Partitioning）是一种用于实现高可伸缩性的技巧。通过将数据分配存放在许多机器上，内存缓存的大小加随着机器的增加而呈线性增长。结合分配和重复这两种机制创建出的缓存可同时具备大容量和高可伸缩的特性。分层缓存也称作客户机－服务器（client-server）缓存，它是一种拓扑结构，在该结构中缓存功能将集中于一组机器上。缓存客户机通常并不会亲自执行任何缓存操作，而是连接到缓存并检索或更新其中的数据。分层缓存架构可以包含多层结构。 .NET 缓存属于分层缓存 oracle,jboss的缓存属于集群缓存 Oracle Coherence 使用复制、分发、 分区 和失效相结合的方式来可靠地维护集群中的数据。通过这种方式，

　　最近在为找工作做准备，就看了好多.NET基础知识，发现很多关于页面之间传值的方式，其中就有Session，但也发现Session在实际使用过程中有很多问题。最典型也最重要大的BUG就是如果IIS中同时有很多进程发生时，内存不够用那么有垃圾回收机制，就会导致Session的丢失。解决方法有：可以用Sate Server或SQL Server数据库的方式存储Session，可是这两种方式都有个缺点就是处理速度慢，无法捕获END事件。因此，我便想那么还有什么方式可以解决这一问题呢？ 　　结果就是使用分布式缓存（MemCached）。那么什么是分布式缓存呢？它又有什么优点呢？下面就是我通过查找资料总结的一些心得。 一、Memcached是什么? Memcached是由Danga Interactive开发的，高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。 二、Memcached能缓存什么？ 通过在内存里维护一个统一的巨大的hash表，Memcached能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。 三、Memcached快么？ 非常快。Memcached使用了libevent（如果可以的话，在linux下使用epoll）来均衡任何数量的打开链接，使用非阻塞的网络I/O，对内部对象实现引用计数(因此，针对多样的客户端

大型分布式系统中的缓存架构 本文主要介绍大型分布式系统中缓存的相关理论，常见的缓存组件以及应用场景。 缓存概述 缓存概述 缓存的分类 缓存主要分为四类，如下图： 缓存的分类 CDN 缓存 CDN(Content Delivery Network 内容分发网络)的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中。 在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。 应用场景：主要缓存静态资源，例如图片，视频。 CDN 缓存应用如下图： 未使用 CDN 缓存 使用 CDN 缓存 CDN 缓存优点如下图： 优点 反向代理缓存 反向代理位于应用服务器机房，处理所有对 Web 服务器的请求。 如果用户请求的页面在代理服务器上有缓冲的话，代理服务器直接将缓冲内容发送给用户。 如果没有缓冲则先向 Web 服务器发出请求，取回数据，本地缓存后再发送给用户。通过降低向 Web 服务器的请求数，从而降低了 Web 服务器的负载。 应用场景：一般只缓存体积较小静态文件资源，如 css、js、图片。 反向代理缓存应用如下图： 反向代理缓存应用图 开源实现如下图： 开源实现 本地应用缓存 指的是在应用中的缓存组件，其最大的优点是应用和 Cache 是在同一个进程内部，请求缓存非常快速，没有过多的网络开销等。

Flink提供了类似于Apache Hadoop的分布式缓存，可以让并行用户函数实例本地化的访问文件。此功能可用 于共享包含静态外部数据(如字典或机器学习的回归模型)的文件 工作方式如下：程序将本地或远程文件系统(如HDFS或S3)的文件或目录作为缓存文件注册到 ExecutionEnvironment中的特定名称下。当程序执行时，Flink自动将文件或目录复制到所有worker的本地文 件系统。用户函数可以查找指定名称下的文件或目录，并从worker的本地文件系统访问它 package batch ; import org.apache.commons.io.FileUtils ; import org.apache.flink.api.common.functions.RichMapFunction ; import org.apache.flink.api.java.DataSet ; import org.apache.flink.api.java.ExecutionEnvironment ; import org.apache.flink.api.java.tuple.Tuple2 ; import org.apache.flink.configuration.Configuration ; import java.io.File ; import java.util

一、原理 分布式锁是控制分布式系统之间同步访问共享资源的一种方式。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要通过一些互斥手段来防止彼此之间的干扰，以保证一致性，在这种情况下，就需要使用分布式锁了。 在平时的实际项目开发中，我们往往很少会去在意分布式锁，而是依赖于关系型数据库固有的排他性来实现不同进程之间的互斥，但大型分布式系统的性能瓶颈往往集中在数据库操作上。 在单机环境中，Java中其实提供了很多并发处理相关的API，但是这些API在分布式场景中就无能为力了。也就是说单纯的Java Api并不能提供分布式锁的能力。 其实秒杀类场景最主要的是执行秒杀操作要单线程的，提到单线程，肯定会想到synchronized关键字，但是他有两个致命缺点：1、无法做到细粒度控制，2、只适合单点不适用集群。 所以大多数项目只能采用分布式锁的实现方式。 针对分布式锁的实现，目前比较常用的有以下几种方案： 　　　　基于数据库实现分布式锁 　　　　基于缓存（redis，memcached，tair）实现分布式锁 　　　　基于Zookeeper实现分布式锁 分布式锁主要有基于缓存如redis、基于zookeeper、基于数据库的实现。 在分析这几种实现方案之前我们先来想一下，我们需要的分布式锁应该是怎么样的？（这里以方法锁为例，资源锁同理） 　　　　

引言 为什么写这篇文章? 博主的《分布式之消息队列复习精讲》得到了大家的好评，内心诚惶诚恐，想着再出一篇关于复习精讲的文章。但是还是要说明一下，复习精讲的文章偏面试准备，真正在开发过程中，还是脚踏实地，一步一个脚印，不要投机取巧。 考虑到绝大部分写业务的程序员，在实际开发中使用redis的时候，只会setvalue和getvalue两个操作，对redis整体缺乏一个认知。又恰逢博主某个同事下周要去培训redis，所以博主斗胆以redis为题材，对redis常见问题做一个总结，希望能够弥补大家的知识盲点。 复习要点? 本文围绕以下几点进行阐述 1、为什么使用redis 2、使用redis有什么缺点 3、单线程的redis为什么这么快 4、redis的数据类型，以及每种数据类型的使用场景 5、redis的过期策略以及内存淘汰机制 6、redis和数据库双写一致性问题 7、如何应对缓存穿透和缓存雪崩问题 8、如何解决redis的并发竞争问题 正文 1、为什么使用redis 分析:博主觉得在项目中使用redis，主要是从两个角度去考虑:性能和并发。当然，redis还具备可以做分布式锁等其他功能，但是如果只是为了分布式锁这些其他功能，完全还有其他中间件(如zookpeer等)代替，并不是非要使用redis。因此，这个问题主要从性能和并发两个角度去答。 回答:如下所示，分为两点 （一）性能

近期项目用到了缓存,我选用的是主流的google.guava作本地缓存,redis作分布式 缓存,先说说我对本地缓存和分布式缓存的理解吧,可能不太成熟的地方,大家指出,一起 学习.本地缓存的特点是速度快,不会受到网络阻塞的干扰,但由于是放在本地内存中,所 以容量较小,不能项目间共享比IO效率高比redis,且不会持久化.所以拿来存储一些数据 很少,但又经常执行的,甚至只要启动程序就会访问的数据. 我们可以自定义初始化本地缓存的方法,指定存储量和缓存淘汰机制. /** * 初始化本地缓存 */@PostConstructpublic void init() { commonCache = CacheBuilder.newBuilder() //设置缓存的 .initialCapacity(10) //设置缓存中最大可以存储的key数量,超过就会按照LRU的策略进行清除 .maximumSize(100).expireAfterWrite(60, TimeUnit.SECONDS).build();}几种常见的内存淘汰机制:LRU,LFULFU:根据数据的历史访问频率来淘汰数据LRU:根据访问时间的前后来淘汰数据,优先保留近期访问的数据guava是极度轻量级的cache,只具备基本的增删改查和刷新数据,淘汰数据等功能,但能满足大部分需求.redis作为常用的分布式缓存

介绍 DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理。 缓存内容是在文件中的，各个节点可以根据hdfs中访问路径来读取缓存。 使用步骤 1.添加分布式缓存的时候， 先定义缓存的路径 String cacheFile = "hdfs://xxxx"; 可以设置别名 “#”号后面的就是别名 在方法中可以直接使用 cacheFile = cacheFile + “#别名” 在main方法中添加到job中（然后在map阶段就可以使用） // 缓存jar包到task运行节点的classpath中 job . addArchiveToClassPath ( archive ) ; // 缓存普通文件到task运行节点的classpath中 job . addFileToClassPath ( file ) ; // 缓存压缩包文件到task运行节点的工作目录 job . addCacheArchive ( uri ) ; // 缓存普通文件到task运行节点的工作目录 job . addCacheFile ( uri ) 2.使用分布式缓存 @Override protected void setup ( Mapper < LongWritable , Text ,