学习笔记 -redis

启动服务

在家目录下：
redis-server /opt/myRedis/redis.conf
查看是否启动：
ps -ef | grep redis

客户端启动

使用redis-cli
如果有多个Redis同时启动，则需指定端口号访问 redis-cli -p 端口号
测试验证,通过 ping 命令 查看是否 返回 PONG

常用命令

登录
redis-cli -p 5566 -a password
检查key是否存在 EXISTS key
搜索某关键字 KSYS *4
返回一个Key所影响的vsl的类型 TYPE key

String

单条操作

增：set key value
查：get key
删：del key

多条操作

增：mset key value [key1 value1]
查：mget key [key1]

扩展操作

1.数字增加减少命令
incr key //自增 1
incrby key num //给key的值增加num（int 类型），num 正数则为加，num 为负数 则为减
incrbyfloat key num //给key的值增加num（float 类型）
decr key //自减 1
decrby key num //给key的值减num
按数值进行操作的数据，如果原始数据不能转成数值，或超越了redis 数值上限范围，将报错。
应用：
redis用于控制数据库表主键id，为数据库表主键提供生成策略，保障数据库表的主键唯一性.

2.设置数据生命周期
setex key second value //设置key的值为value存活时间为second秒
psetex key millisecond value //设置key的值为value存活时间为millisecond毫秒

应用：
redis 控制数据的生命周期，通过数据是否失效控制业务行为，适用于所有具有时效性限定控制的操作

具体场景

在redis中为大V用户设定用户信息，以用户主键和属性值作为key，后台设定定时刷新策略即可

eg:  user:id:3506728370:fans 12210947
eg:  user:id:3506728370:blogs 6164
eg:  user:id:3506728370:focuss 83

也可以在redis中以json格式存储大V用户信息，定时刷新（也可以使用hash类型）

eg:  user:id:3506728370  
{"id":3506728370,"name":"春晚","fans":12210862,"blogs":6164, "focus":83}

redis应用于各种结构型和非结构型高热度数据访问加速

Hash

新的存储需求：对一系列存储的数据进行编组，方便管理，典型应用存储对象信息
需要的存储结构：一个存储空间保存多个键值对数据
hash类型：底层使用哈希表结构实现数据存储

存储结构：
单条操作

增：hset key field value
查：hget key field
删：hdel key field

多条操作

增：hmset key field value [field1 value2]
查：hmget key field [field1]

其他命令

hgetall key //获取key的全部的值
hlen key //获取key的值的数量
hexists key field //是否存在field
hsetnx key field value //存在不设置，不存在设置

field：可以想成value中的“小key”

hkeys key //所有key的字段（field）
hvals key //所有key的值

hincrby key field num //给key的field的值增加num （num 为int值）
hincrybyfloat key field num //给key的field的值增加num （num 为float）

应用场景

购物车

以客户id作为key，每位客户创建一个hash存储结构存储对应的购物车信息
 将商品编号作为field，购买数量作为value进行存储
 添加商品：追加全新的field与value
 浏览：遍历hash
 更改数量：自增/自减，设置value值
 删除商品：删除field
 清空：删除key
思考：
当前仅仅是将数据存储到了redis中，并没有起到加速的作用，商品信息还需要二次查询数据库
每条购物车中的商品记录保存成两条field
 field1专用于保存购买数量
命名格式：商品id:nums
保存数据：数值
 field2专用于保存购物车中显示的信息，包含文字描述，图片地址，所属商家信息等
命名格式：商品id:info
保存数据：json

多个用户购买相同商品可以使用hsetnx key field value

抢购
业务场景
双11活动日，销售手机充值卡的商家对移动、联通、电信的30元、50元、100元商品推出抢购活动，每种商
品抢购上限1000张

解决方案
 以商家id作为key
 将参与抢购的商品id作为field
 将参与抢购的商品数量作为对应的value （ hincrby 负值）
 抢购时使用降值的方式控制产品数量
应用于抢购，限购类、限量发放优惠卷、激活码等业务的数据存储设计

String存储对象（json） VS Hash存储对象

String存在对象讲究整体性，以读为主
Hash存储对象讲究分散性，以写为主

List

数据存储需求：存储多个数据，并对数据进入存储空间的顺序进行区分
需要的存储结构：一个存储空间保存多个数据，且通过数据可以体现进入顺序
list类型：保存多个数据，底层使用双向链表存储结构实现

添加
lpush key value [value1] //从左添加
rpush key value [value1] //从右添加

获取
lrange key start stop 返回list中的数据 0 -1可以查询所有
lindex key index 返回名称为key的list中index位置的元素
llen key 返回名称为key的list的长度

获取并移除

lpop key //从左出
rpop key //从右出

规定时间内获取并移除数据
blpop key1 [key2] timeout 在设置的时间内可以从若干个key列表中等待数据进来。
brpop key1 [key2] timeout
brpoplpush source destination timeout

业务场景

微信朋友圈点赞，要求按照点赞顺序显示点赞好友信息
如果取消点赞，移除对应好友信息

解决方案

lrem key count value 移除指定数据
count：移除的数目
value：具体要移除的内容

redis 应用于具有操作先后顺序的数据控制

Set

新的存储需求：存储大量的数据，在查询方面提供更高的效率
需要的存储结构：能够保存大量的数据，高效的内部存储机制，便于查询
set类型：与hash存储结构完全相同，仅存储键，不存储值（nil），并且值是不允许重复的

命令
增：sadd key member [member1]
查：smembers key
删：srem key member [member1]
获取总量：scard key
判定是否存在：sismember key member
随机获取（原集合保留）：srandmember key [count]
随机获取（原集合不保留）：spop key

业务场景

1.每位用户首次使用今日头条时会设置3项爱好的内容，但是后期为了增加用户的活跃度、兴趣点，必须让用户
对其他信息类别逐渐产生兴趣，增加客户留存度，如何实现？

分析
系统分析出各个分类的最新或最热点信息条目并组织成set集合
随机挑选其中部分信息
配合用户关注信息分类中的热点信息组织成展示的全信息集合

解决方案

• 随机获取集合中指定数量的数据

srandmember key [count]

• 随机获取集合中的某个数据并将该数据移出集合

spop key [count]

redis 应用于随机推荐类信息检索，例如热点歌单推荐，热点新闻推荐，热卖旅游线路，应用APP推荐，大V推荐等

2.共同好友 ，共同关注如何实现？

集合交集：sinter key key1 key2
集合并集：sunion key key1 key2
集合差集：sdiff key key1 key2 （谁在前，谁减另一个）

求出集合并存储到指定集合中
存储集合交集：sinterstore destination key key1 key2
存储集合并集：sunionstore destination key key1 key2
存储集合差集：sdiffstore destination key key1 key2
集合元素移动：smove source destination member

redis 应用于同类信息的关联搜索，二度关联搜索，深度关联搜索

操作的注意事项
set 类型不允许数据重复，如果添加的数据在 set 中已经存在，将只保留一份
set 虽然与hash的存储结构相同，但是无法启用hash中存储值的空间

sorted_set

新的存储需求：数据排序有利于数据的有效展示，需要提供一种可以根据自身特征进行排序的方式
需要的存储结构：新的存储模型，可以保存可排序的数据
sorted_set类型：在set的存储结构基础上添加可排序字段

score不是数据

增：zadd key score member [score1 member1]
删：zrem key member [member1]
获取全部（正序）：zrange key start stop [withscores] 从小到大
获取全部（倒序）：zrevrange key start stop [withscores]

按条件查（正序）：zrangebyscore key min max [withscore limit]
按条件查（倒序）：zrevrangebyscore key max min [withscore limit]
按条件删除（索引）：zremrangebyrank key start stop
按条件删除（积分）：zremrangebyscore key min max

min与max用于限定搜索查询的条件
start与stop用于限定查询范围，作用于索引，表示开始和结束索引
offset与count用于限定查询范围，作用于查询结果，表示开始位置和数据总量

获取集合总量：zcard key | zcount key min max

存储集合交集： zinterstore destination numkeys key key1
存储集合并集：zunionstore destination numkeys key key1

获取索引（正序）：zrank key member
获取索引（倒序）：zrevrank key member
score值获取：zscore key member
score值修改：zincrby key num member

对于key的操作

命令

删除：del key
判断是否存在：exists key
获取key类型：type key

指定有效期：
expire key seconds
pexpire key milliseconds
expireat key timestamp
pexpireat key milliseconds-timestamp
获取有效期：
ttl key 如果key失效了不存在，返回-2，如果没有设置时限就返回-1
pttl key
设置永久：persist key

查询key：key pattern + // *,?,[]

重命名：rename key newkey | renamenx key newkey

对key排序：sort

数据库操作

命令
选择数据库：select index
数据移动：move key db
数据库大小：dbsize

数据清除：
单库删除：flushdb
多库删除：flushall

Jedis

导入jedis

   <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.9.0</version>
        </dependency>

连接测试：

public class JedisTest {
    @Test
    public void testJedis() {
        Jedis jedis = new Jedis("127.0.0.1", 6379);
        System.out.println(jedis.set("name","吕明辉"));
        jedis.close();
    }

更改配置文件

修改 myRedis下的 redis.conf文件内容：
把bind 127.0.0.1注释，然后修改protected-mode 为no

持久化

RDB（Relational Database）

保存数据
指令（前台）：save //阻塞 立即保存
指令（后台）：bgsave //不立即执行
配置：save second changes //用bgsave执行操作

常用配置项

数据文件名称：dbfilename dump.rdb //默认
数据保存路径：dir
是否开启压缩：rdbcompression yes //默认
是否开启格式检查：rdbchecksum yes|no //默认no

RDB 持久化优点
RDB是一个紧凑压缩的二进制文件，存储效率高
RDB存储的是Redis在某个时间点的数据快照，非常适用于数据备份全量复制等场景
RDB恢复数据速度比AOF快

RDB应用
服务器中每X小时执行bgsave备份，并将RDB文件拷贝到远程机器中，用于灾难恢复

RDB持久化缺点
RDB方式无论是执行命令还是进行配置，无法做到实时持久化，具有较大可能丢失数据
bgsave每次运行要执行fork操作创建子进程，要牺牲一些性能
Redis的众多版本中未进行RDB文件格式的版本统一，有可能出现各个版本服务器之间数据格式无法兼容
存储数量较大时，效率较低
大数据量下的I／O性能较低
基于fork创建子进程，内存产生额外消耗
宕机带来的数据丢失风险

AOF（Append Only File）

AOF(append only file)持久化：以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中命令
达到恢复数据的目的。与RDB相比可以简单描述为改记录数据为记录数据产生的过程
AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式

保存数据策略

每次：always
每次写入操作均同步到AOF文件中，数据零误差，性能较低
每秒：everysec
每秒将缓冲区中的指令同步到AOF文件中，数据准确性较高，性能较高
在系统突然宕机的情况下丢失1秒内的数据
系统控制：no
由操作系统控制每次同步到AOF文件的周期，整体过程不可控

配置
是否开启：appendonly yes|no //默认no
保存策略：appendfsync always|everysec|no
重写
手动：bgrewriteaof
自动：
auto-aof-rewrite-min-size size
auto-aof-rewrite-percentage percentage

RDB 与 AOF 如何选择

对数据非常敏感，建议使用默认的AOF持久化方案
AOF策略使用everysec，每秒fsync一次，该策略仍可保持很好性能，出现问题最多丢失一秒内的数据
数据呈现阶段有效性，建议使用RDB持久化方案
数据可以做到阶段内无丢失，且恢复较快，阶段点数据恢复通常使用RDB方案

注意：
AOF文件存储体积较大，恢复速度较慢
利用RDB使用线紧凑的数据持久化会使Redis性能降低

综合：
RDB与AOF选择实际上是在一种权衡，每种都有利有弊
如果不能承受分钟内的数据丢失，对业务数据非常敏感，选用AOF
如果能承受分钟内的数据丢失，且追求大数据集的恢复速度选用RDB
灾难恢复选用RDB
双保险策略，同时开启RDB和AOF，重启后Redis优先使用AOF来恢复数据，降低丢失数据量

事务

Redis事务不具有回滚机制

命令

开启：multi
结束：exec
中断：discard
加入事务的命令暂时进入到任务队列中，并没有立即执行，只有执行exec命令才开始执行

事务中的错误

命令错误
执行事务过程中输入的命令出现错误，Redis会结束事务不再执行，并报出错误的命令

操作错误

执行事务过程中输入的命令正确，其他操作错误，事务中其他命令正常执行，错误操作报错
已经执行完毕的命令对应的数据不会自动回滚，需要程序员自己在代码中实现回滚。

锁

Redis中锁和事务是相搭配使用的，可解决对key的监控

命令

加锁：watch key [key1]
解锁：unwatch //取消掉所有key的监控

数据删除策略

当key过期后执行数据删除的策略

定时删除（即可删除）

创建一个具有时效性的key时，同时会创建一个定时器来监控该key是否过期，当key过期后立即进行key的删除

优点：节约内存，到时就会进行删除，快速释放占用空间
缺点：CPU压力大影响Redis响应时间和吞吐量
总结：用处理器性能换取存储空间

惰性删除

当一个具有实效性的key过期后不会有删除操作，直到下一次调用时会先检查该key是否过期，如果过期则进行删除操作，并返回nil（该key不存在）

优点：节约CPU性能，发现必须删除的时候才会删除
缺点：内存压力大，出现长期占用内存的数据
总结：用存储空间换取处理器性能

定期删除

Redis会根据设置的参数，定期对具有时效性的key进行清理工作，它是定时删除和惰性删除的结合者，既不像定时删除会立即进行删除给予CPU压力，也不会像惰性删除给予内存压力
步骤

1 Redis启动服务器初始化时，读取配置server.hz的值（默认为10）

2 每秒钟执行server.hz次serverCron（）服务（serverCron【服务器级别】->databasesCron【数据库级别】->activeExpireCyle【活跃数据级别】）

3 acitveExpireCyle（）对每个expires[*]（数据库）逐一进行检测，每次执行250ms／server.hz

4 对某个expires[]检测时，随机挑选w个key进行检测
1 如果key超时，删除key
2 如果一轮中删除的kye的数量>w25%，循环该过程
3 如果一轮中删除的可以的数量<=w25%检查下一个expires[],0-15（所有的数据库）循环

数据淘汰策略

当内存到达最大内存限制时进行的数据淘汰策略

数据驱逐淘汰策略配置依据，使用info命令输出相关监控信息，查新缓存hit 命中次数和miss的次数，根据业务调优
配置

最大可用内存：maxmemory //默认为0，一般设置全部内存50%以上
每次选取带删除数据个数：maxmemory-samples //采用随机获取方式
删除策略：maxmemory-policy //达到最大内存后，对被选取带数据进行的删除策略

检测易失数据集（可能会过期数据server.db[i].expires）
volatile-lru：挑选最近最少使用的数据淘汰（最近数据中使用时间离当前最远的数据）。常用
volatile-lfu：挑选最近使用次数最少的数据淘汰（最近数据中使用次数最少的数据）
volatile-ttl：挑选将要过期数据淘汰
volatile-random：任意挑选数据淘汰

检测全库数据（所有数据集server.db[i].dict）
allkeys-lru：挑选最近最少使用的数据淘汰
allkeys-lfu：挑选最近使用次数最少的数据淘汰
allkeys-random：任意挑选数据淘汰

放弃数据驱逐

no-enviction //禁止驱逐数据 4.0中默认策略，会引发OOM

高级数据类型

Bitmaps

标记统计

命令
获取：getbit key offset
设置：setbit key offset value
设置指定key对应偏移量上的bit值，也就是位置，value只能是1或0

交、并、或异 bitop op destkey key1 key2
op：
交：and
并：or
非：not
异或：xor
统计指定key中1的数量：bitcount key [start end]

HyperLoglog

基数统计

命令
添加：pfadd key element [element1]
统计：pfcount key [key1]
合并：pfmerge destkey sourcekey [sourcekey1]
保存都不是真实数据，存储效率高，估算算法。

GEO

距离计算（只计算水平距离）

命令
1.添加：geoadd key longitude latitude member [longitude1 latitude1 member1]

2.获取：geopos key member [member1]

3.计算距离：geodist key member1 member2 [count]

4.根据坐标求范围内数据：georadius key longitude latitude radius m|km|ft|mi

5.根据点求范围内的数据：georadusbymember key member radius m|km|ft|mi

6.获取指定点对应的hash值：geohash key member [member1]

主从复制

作用
读写分离：master写、slave读，提高服务器的读写负载能力
负载均衡：基于主从结构，配合读写分离，由slave分担master负载，并根据需求的变化，改变slave的数量，通过多个从节点分担数据读取负载，大大提高Redis服务器并发量与数据吞吐量
故障恢复：当master出现问题时，由slave提供服务，实现快速的故障恢复
数据冗余：实现数据热备份，是持久化之外的一种数据冗余方式
高可用基石：基于主从复制，构建哨兵模式与集群，实现Redis的高可用方案

总结
一个master可以有多个slave
一个slave只能有一个master
数据流向是单向的，master到slave

工作流程

阶段一：建立连接阶段
建立slave到master的连接，使master能够识别slave，并保存slave端口号

主从连接（slave连接master）
方式一：客户端发送命令

slaveof <masterip> <masterport>

方式二：启动服务器参数

 redis-server -slaveof <masterip> <masterport>

方式三：服务器配置（主流方式）
在从服务器中配置文件中加

 slaveof  <masterip>  <masterport>

直接通过配置文件启动即可

阶段二：数据同步阶段工作流程

在slave初次连接master后，复制master中的所有数据到slave
将slave的数据库状态更新成master当前的数据库状态

复制过程分为两个阶段

1. 全量复制：
   slave接收到master生成的RDB文件，先清空自身的旧数据，然后执行RDB恢复过程，然后告知master已经恢复完毕。
2. 部分复制（增量复制）
   master把自己之前创建的复制缓冲区的数据发送到slave，slave接收到aof指定后执行bgrewriteaof 重写操作，恢复数据。

阶段三：命令传播阶段

当master数据库状态被修改后，导致主从服务器数据库状态不一致，此时需要让主从数据同步到一致的状态，同步的动作称为命令传播

master将接收到的数据变更命令发送给slave，slave接收命令后执行命令

命令传播阶段的部分复制

需求：
命令传播阶段出现了断网现象
网络闪断闪连
短时间网络中断
长时间网络中断

部分复制的三个核心要素

1. 服务器的运行 id（run id）

概念：服务器运行ID是每一台服务器每次运行的身份识别码，一台服务器多次运行可以生成多个运行id

组成：运行id由40位字符组成，是一个随机的十六进制字符
例如：fdc9ff13b9bbaab28db42b3d50f852bb5e3fcdce

作用：运行id被用于在服务器间进行传输，识别身份。
如果想两次操作均对同一台服务器进行，必须每次操作携带对应的运行id，用于对方识别

实现方式：运行id在每台服务器启动时自动生成的，master在首次连接slave时，会将自己的运行ID发送给slave，slave保存此ID，通过info Server命令，可以查看节点的runid

2. 主服务器的复制积压缓冲区
   概念：复制缓冲区，又名复制积压缓冲区，是一个先进先出（FIFO）的队列，用于存储服务器执行过的命令，每次传播命令，master都会将传播的命令记录下来，并存储在复制缓冲区
   来源：每台服务器启动时，如果开启有AOF或被连接成为master节点，即创建复制缓冲区
   作用：用于保存master收到的所有指令（仅影响数据变更的指令，例如set，select）
   数据来源：当master接收到主客户端的指令时，除了将指令执行，会将该指令存储到缓冲区

复制缓冲区内部工作原理
缓冲区内部是由偏移量（offset） 和 字节值组成，master会把指令拆解开成单个字节值，传入缓冲区，每个slave分别接收字节值，保存记录，通过offset区分不同的slave当前数据传播的差异，master也会记录当前发送的信息对应的offset。

3. 主从服务器的复制偏移量
   概念：一个数字，描述复制缓冲区中的指令字节位置
   分类：
   master复制偏移量：记录发送给所有slave的指令字节对应的位置（多个）
   slave复制偏移量：记录slave接收master发送过来的指令字节对应的位置（一个）
   作用：同步信息，比对master与slave的差异，当slave断线后，恢复数据使用

心跳机制

进入命令传播阶段候，master与slave间需要进行信息交换，使用心跳机制进行维护，实现双方连接保持在线
master心跳：
指令：PING
周期：由repl-ping-slave-period决定，默认10秒
作用：判断slave是否在线
查询：INFO replication 获取slave最后一次连接时间间隔，lag项维持在0或1视为正常

slave心跳任务
指令：REPLCONF ACK {offset}
周期：1秒
作用1：汇报slave自己的复制偏移量，获取最新的数据变更指令
作用2：判断master是否在线

心跳阶段注意事项

当slave多数掉线，或延迟过高时，master为保障数据稳定性，将拒绝所有信息同步操作

主从复制工作流程（完整版）

slave数量由slave发送REPLCONF ACK命令做确认
slave延迟由slave发送REPLCONF ACK命令做确认

哨兵简介

哨兵(sentinel) 是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的master并将所有slave连接到新的master。

作用

监控
不断的检查master和slave是否正常运行。
master存活检测、master与slave运行情况检测

通知（提醒）
当被监控的服务器出现问题时，向其他（哨兵间，客户端）发送通知。

自动故障转移
断开master与slave连接，选取一个slave作为master，将其他slave连接到新的master，并告知客户端新的服务器地址

注意：
哨兵也是一台redis服务器，只是不提供数据服务
通常哨兵配置数量为单数

配置一拖二的主从结构
配置三个哨兵（配置相同，端口不同）
参看sentinel.conf
启动哨兵

 redis-sentinel sentinel- 端口号 .conf

工作原理

哨兵在进行主从切换过程中经历三个阶段
监控
通知
故障转移

阶段一：监控阶段

第一个哨兵进来 会先去连接master，两者各保存信息，然后相同方式连接slave
后面的哨兵进来连接完毕后会去通过publish subscribe创建一个网络互通信息。

阶段二：通知阶段
每个哨兵会随机不停的通过创建的cmd连接获取各个服务器对应的工作状态 ，然后在网络中进行互通

阶段三：故障转移阶段

当某个哨兵向服务器多次发送hello请求后没有得到回应就会把主服务器的状态记录为sdown并在哨兵网络中向其他哨兵传播这个消息，然后其他哨兵也会向服务器多次发送hello请求，超过半数的哨兵把服务器标记为sdown时就会把服务器标记为odown，准备找出新的主服务器。
哨兵在内部网络投票得出合适的哨兵进行处理服务器

挑选原则：
在线
响应时间
与原master断开时间

优先原则：
优先级
offset
runid

发送指令（ sentinel ）
向新的master发送slaveof no one
向其他slave发送slaveof 新masterIP端口

集群架构

作用：
分散单台服务器的访问压力，实现负载均衡
分散单台服务器的存储压力，实现可扩展性
降低单台服务器宕机带来的业务灾难

结构设计

1通过算法设计，计算出key应该保存的位置
2将所有的存储空间计划切割成16384份，每台主机保存一部分.每份代表的是一个存储空间，不是一个key的保存空间
3将key按照计算出的结果放到对应的存储空间（槽）

内部通讯设计

搭建方式

Cluster配置
先在配置文件中加 添加节点cluster-enabled yes
cluster配置文件名

cluster-config-file <filename>

节点服务响应超时时间，用于判定该节点是否下线或切换为从节点

cluster-node-timeout <milliseconds>

redis-cli -c :启动
Cluster节点操作命令
查看集群节点信息 cluster nodes
进入一个从节点 redis，切换其主节点 cluster replicate <master-id>
发现一个新节点，新增主节点 cluster meet ip:port
手动故障转移 cluster failover

redis-trib命令

添加节点
redis-trib.rb add-node
删除节点
redis-trib.rb del-node
重新分片
redis-trib.rb reshard

企业级解决方案

缓存预热

项目上线，服务器启动后迅速宕机
问题排查：1.请求数量较高
2. 主从之间数据吞吐量较大，数据同步操作频度较高

解决方案
准备工作：
将统计结果中的数据分类，根据级别，redis优先加载级别较高的热点数据
利用分布式多服务器同时进行数据读取，提速数据加载过程
热点数据主从同时预热

实施：
使用脚本程序固定触发数据预热过程
如果条件允许，使用了CDN（内容分发网络），效果会更好

总结：缓存预热就是系统启动前，提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题。
这样用户就直接查询事先被预热的缓存数据。

缓存雪崩

数据库服务器崩溃
原因：
在一个较短的时间内，缓存中较多的key集中过期

解决方案：
更多的页面静态化处理
2. 构建多级缓存架构
Nginx缓存+redis缓存+ehcache缓存
3. 检测Mysql严重耗时业务进行优化
对数据库的瓶颈排查：例如超时查询、耗时较高事务等
4. 灾难预警机制
监控redis服务器性能指标
 CPU占用、CPU使用率
 内存容量
 查询平均响应时间
 线程数
5. 限流、降级
短时间范围内牺牲一些客户体验，限制一部分请求访问，降低应用服务器压力，待业务低速运转后再逐步放开访问

1.LRU与LFU切换
2. 数据有效期策略调整
根据业务数据有效期进行分类错峰，A类90分钟，B类80分钟，C类70分钟
过期时间使用固定时间+随机值的形式，稀释集中到期的key的数量
3. 超热数据使用永久key
4. 定期维护（自动+人工）
对即将过期数据做访问量分析，确认是否延时，配合访问量统计，做热点数据的延时
5. 加锁
慎用！

缓存击穿

redis没有问题，数据库服务器崩溃
原因：

1. Redis中某个key过期，该key访问量巨大
2. 多个数据请求从服务器直接压到Redis后，均未命中
3. Redis在短时间内发起了大量对数据库中同一数据的访问

解决方案

1. 预先设定
   以电商为例，每个商家根据店铺等级，指定若干款主打商品，在购物节期间，加大此类信息key的过期时长
   注意：购物节不仅仅指当天，以及后续若干天，访问峰值呈现逐渐降低的趋势
2. 现场调整
   监控访问量，对自然流量激增的数据延长过期时间或设置为永久性key
3. 后台刷新数据
   启动定时任务，高峰期来临之前，刷新数据有效期，确保不丢失
4. 二级缓存
   设置不同的失效时间，保障不会被同时淘汰就行
5. 加锁
   分布式锁，防止被击穿，但是要注意也是性能瓶颈，慎重！

总结
缓存击穿就是单个高热数据过期的瞬间，数据访问量较大，未命中redis后，发起了大量对同一数据的数据库访问，导致对数据库服
务器造成压力。应对策略应该在业务数据分析与预防方面进行，配合运行监控测试与即时调整策略，毕竟单个key的过期监控难度
较高，配合雪崩处理策略即可

缓存穿透

应用服务器流量随时间增量较大。Redis服务器命中率随时间逐步降低，Redis服务器CPU占用激增，数据库服务器压力激增，数据库崩溃。
原因：

1. Redis中大面积出现未命中
2. 出现非正常URL访问

分析：
出现黑客攻击服务器。
获取的数据在数据库中也不存在，数据库查询未得到对应数据
Redis获取到null数据未进行持久化，直接返回

解决方案

1. 缓存null
   对查询结果为null的数据进行缓存（长期使用，定期清理），设定短时限，例如30-60秒，最高5分钟
2. 白名单策略
   提前预热各种分类数据id对应的bitmaps，id作为bitmaps的offset，相当于设置了数据白名单。当加载正常数据时，放
   行，加载异常数据时直接拦截（效率偏低）
   使用布隆过滤器（有关布隆过滤器的命中问题对当前状况可以忽略）
3. 实施监控
   实时监控redis命中率（业务正常范围时，通常会有一个波动值）与null数据的占比
   非活动时段波动：通常检测3-5倍，超过5倍纳入重点排查对象
   活动时段波动：通常检测10-50倍，超过50倍纳入重点排查对象
   根据倍数不同，启动不同的排查流程。然后使用黑名单进行防控（运营）
4. key加密
   问题出现后，临时启动防灾业务key，对key进行业务层传输加密服务，设定校验程序，过来的key校验
   例如每天随机分配60个加密串，挑选2到3个，混淆到页面数据id中，发现访问key不满足规则，驳回数据访问

总结
缓存击穿访问了不存在的数据，跳过了合法数据的redis数据缓存阶段，每次访问数据库，导致对数据库服务器造成压力。
通常此类数据的出现量是一个较低的值，当出现此类情况以毒攻毒，并及时报警。应对策略应该在临时预案防范方面多做文章。
无论是黑名单还是白名单，都是对整体系统的压力，警报解除后尽快移除。

性能指标监控

• 性能指标：Performance
• 内存指标：Memory
• 基本活动指标：Basic activity
• 持久性指标：Persistence
• 错误指标：Error

来源：CSDN

作者：naerjiajia207

链接：https://blog.csdn.net/naerjiajia207/article/details/103895955