分布式锁

面试还搞不懂redis，快看看这40道面试题（含答案和思维导图） 原创程序员追风 发布于2019-11-25 18:09:31 阅读数 51710 收藏 展开 Redis 面试题 1、什么是 Redis?. 2、Redis 的数据类型？ 3、使用 Redis 有哪些好处？ 4、Redis 相比 Memcached 有哪些优势？ 5、Memcache 与 Redis 的区别都有哪些？ 6、Redis 是单进程单线程的？ 7、一个字符串类型的值能存储最大容量是多少？ 8、Redis 的持久化机制是什么？各自的优缺点？ 9、Redis 常见性能问题和解决方案： 10、redis 过期键的删除策略？ 11、Redis 的回收策略（淘汰策略）? 12、为什么 edis 需要把所有数据放到内存中？ 13、Redis 的同步机制了解么？ 14、Pipeline 有什么好处，为什么要用 pipeline？ 15、是否使用过 Redis 集群，集群的原理是什么？ 16、Redis 集群方案什么情况下会导致整个集群不可用？ 17、Redis 支持的 Java 客户端都有哪些？官方推荐用哪个？ 18、Jedis 与 Redisson 对比有什么优缺点？ 19、Redis 如何设置密码及验证密码？ 20、说说 Redis 哈希槽的概念？ 21、Redis 集群的主从复制模型是怎样的？ 22、Redis

关于分布式锁原理的一些学习与思考-redis分布式锁，zookeeper分布式锁 首先分布式锁和我们平常讲到的锁原理基本一样，目的就是确保，在多个线程并发时，只有一个线程在同一刻操作这个业务或者说方法、变量。 在一个进程中，也就是一个jvm 或者说应用中，我们很容易去处理控制，在jdk java.util 并发包中已经为我们提供了这些方法去加锁， 比如synchronized 关键字 或者Lock 锁，都可以处理。 但是我们现在的应用程序如果只部署一台服务器，那并发量是很差的，如果同时有上万的请求那么很有可能造成服务器压力过大，而瘫痪。 想想双十一 和 三十晚上十点分支付宝红包等业务场景，自然需要用到多台服务器去同时处理这些业务，那么这些服务可能会有上百台同时处理， 但是请我们大家想一想，如果有100台服务器 要处理分红包的业务，现在假设有1亿的红包，1千万个人分，金额随机，那么这个业务场景下是不是必须确保这1千万个人最后分的红包金额总和等于1亿。 如果处理不好~~每人分到100万，那马云爸爸估计大年初一，就得宣布破产了~~ 1，常规锁会造成什么情况？ 首先说一下我们为什么要搞集群，简单理解就是，需求量（请求并发量）变大了，一个工人处理能力有限，那就多招一些工人来一起处理。 假设1千万个请求平均分配到100台服务器上，每个服务器 接收10w的请求（这10w个请求并不是在同一秒中来的

首先分布式锁和我们平常讲到的锁原理基本一样，目的就是确保，在多个线程并发时，只有一个线程在同一刻操作这个业务或者说方法、变量。 在一个进程中，也就是一个jvm 或者说应用中，我们很容易去处理控制，在jdk java.util 并发包中已经为我们提供了这些方法去加锁， 比如synchronized 关键字 或者Lock 锁，都可以处理。 但是我们现在的应用程序如果只部署一台服务器，那并发量是很差的，如果同时有上万的请求那么很有可能造成服务器压力过大，而瘫痪。 想想双十一 和 三十晚上十点分支付宝红包等业务场景，自然需要用到多台服务器去同时处理这些业务，那么这些服务可能会有上百台同时处理， 但是请我们大家想一想，如果有100台服务器 要处理分红包的业务，现在假设有1亿的红包，1千万个人分，金额随机，那么这个业务场景下是不是必须确保这1千万个人最后分的红包金额总和等于1亿。 如果处理不好~~每人分到100万，那马云爸爸估计大年初一，就得宣布破产了~~ 1，常规锁会造成什么情况？ 首先说一下我们为什么要搞集群，简单理解就是，需求量（请求并发量）变大了，一个工人处理能力有限，那就多招一些工人来一起处理。 假设1千万个请求平均分配到100台服务器上，每个服务器 接收10w的请求（这10w个请求并不是在同一秒中来的，可能是在1,2个小时内，可以联想下我们三十晚上开红包，等到10.20开始

什么是Redis? Redis 是开源免费的，遵守BSD协议，是一个高性能的key-value非关系型数据库。 redis单线程问题 所谓的单线程指的是网络请求模块使用了一个线程（所以不需考虑并发安全性），即一个线程处理所有网络请求，其他模块仍用了多个线程。 redis采用多路复用机制：即多个网络socket复用一个io线程，实际是单个线程通过记录跟踪每一个Sock(I/O流)的状态来同时管理多个I/O流. Redis特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供String，list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。 原子 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。 丰富的特性 – Redis还支持 publish/subscribe, 通知, 设置key有效期等等特性。 redis作用: 可以减轻数据库压力，查询内存比查询数据库效率高。 Redis应用： token生成、session共享、分布式锁、自增id、验证码等。 比较重要的3个可执行文件

1、引入业务场景 首先来由一个场景引入： 最近老板接了一个大单子，允许在某终端设备安装我们的APP，终端设备厂商日活起码得几十万到百万级别，这个APP也是近期产品根据市场竞品分析设计出来的，几个小码农通宵达旦开发出来的，主要功能是在线购物一站式服务，后台可以给各个商家分配权限，来维护需要售卖的商品信息。 老板大O ：谈下来不容易，接下来就是考虑如何吸引终端设备上更多的用户注册上来，如何引导用户购买，这块就交给小P去负责了，需求尽快做，我明天出差！ 产品小P ：嘿嘿~，眼珠一转儿，很容易就想到了，心里想：“这还不简单，起码在首页搞个活动页... ”。 技术小T： 很快了解了产品的需求，目前小J主要负责这块，找了前端和后端同学一起将活动页搞的快差不多了。 业务场景一出现 ： 因为小T刚接手项目，正在吭哧吭哧对熟悉着代码、部署架构。在看代码过程中发现，下单这块代码可能会出现问题，这可是分布式部署的，如果多个用户同时购买同一个商品，就可能导致商品出现 库存超卖 (数据不一致) 现象，对于这种情况代码中并没有做任何控制。 原来一问才知道，以前他们都是售卖的虚拟商品，没啥库存一说，所以当时没有考虑那么多... 这次不一样啊，这次是售卖的实体商品，那就有库存这么一说了，起码要保证不能超过库存设定的数量吧。 小T大眼对着屏幕，屏住呼吸，还好提前发现了这个问题，赶紧想办法修复，不赚钱还赔钱

几天分析了一下三种分布式锁的实现，但是没有利用zookeeper实现一个分布式锁，因为感觉基于Zookeeper实现分布式锁还是稍微复杂的，同时也需要使用Watcher机制，所以就单独搞一篇Zookeeper实现的分布式锁。 首先，第一种实现。我们可以利用Zookeeper不能重复创建一个节点的特性来实现一个分布式锁，这看起来和redis实现分布式锁很像。但是也是有差异的，后面会详细分析。 主要流程图如下： 上面的流程很简单： 查看目标Node是否已经创建，已经创建，那么等待锁。 如果未创建，创建一个瞬时Node，表示已经占有锁。 如果创建失败，那么证明锁已经被其他线程占有了，那么同样等待锁。 当释放锁，或者当前Session超时的时候，节点被删除，唤醒之前等待锁的线程去争抢锁。 上面是一个完整的流程，简单的代码实现如下： package com.codertom.params.engine; import com.google.common.base.Strings; import org.apache.zookeeper.*; import java.io.IOException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java

Redis Redis-优势总结 1 性能高,读每秒是11w,写每秒是8w 2 丰富的数据结构,支持string,list,set,hash,sortedset 3 原子性操作,要不全部成功,要不全部失败 4 发布与订阅,完成类似队列功能 5 分布式锁的内在支持 6 高可用,高性能,支持集群,支持哨兵,支持读写分离 Redis-使用场景 数据缓存（商品数据、新闻、热点数据） 单点登录 秒杀、抢购 网站访问排名,排行榜 应用的模块开发 Redis-RESP协议 Redis 的客户端和服务端之间采取了一种独立名为 RESP(REdis Serialization Protocol) 的协议,它的特点是容易实现和解析快,可读性强 在 RESP 中, 一些数据的类型通过它的第一个字节进行判断： 单行回复：回复的第一个字节是 “+” 错误信息：回复的第一个字节是 “-” 整形数字：回复的第一个字节是 “:” 多行字符串：回复的第一个字节是 “$” 数组：回复的第一个字节是 “*” 举例 比如使用set命令, SET simpleKey simpleValue, 3 代表有三个字符串 9 代表有九个字符串 11 代表有十一个字符串 \\r\\n代表空格和换行 *3\\r\\n$3\\r\\nSET\\r\\n$9\\r\\nsimpleKey\\r\\n$11\\r\\nsimpleValue

出处： 　　作者：wangzaiplus 　　 www.jianshu.com/p/6189275403ed 一、概念 幂等性, 通俗的说就是一个接口, 多次发起同一个请求, 必须保证操作只能执行一次 比如: 订单接口, 不能多次创建订单 支付接口, 重复支付同一笔订单只能扣一次钱 支付宝回调接口, 可能会多次回调, 必须处理重复回调 普通表单提交接口, 因为网络超时等原因多次点击提交, 只能成功一次 等等 二、常见解决方案 唯一索引 -- 防止新增脏数据 token机制 -- 防止页面重复提交 悲观锁 -- 获取数据的时候加锁(锁表或锁行) 乐观锁 -- 基于版本号version实现, 在更新数据那一刻校验数据 分布式锁 -- redis(jedis、redisson)或zookeeper实现 状态机 -- 状态变更, 更新数据时判断状态 三、本文实现 　　本文采用第2种方式实现, 即通过redis + token机制实现接口幂等性校验 四、实现思路 为需要保证幂等性的每一次请求创建一个唯一标识 token , 先获取 token , 并将此 token 存入 redis , 请求接口时, 将此 token 放到 header 或者作为请求参数请求接口, 后端接口判断 redis 中是否存在此 token : 如果存在, 正常处理业务逻辑, 并从 redis 中删除此 token

作者博客地址 https://muggle.javaboy.org。 并行相关概念 同步和异步 同步和异步通常来形容一次方法的调用。同步方法一旦开始，调用者必须等到方法结束才能执行后续动作；异步方法则是在调用该方法后不必等到该方法执行完就能执行后面的代码，该方法会在另一个线程异步执行，异步方法总是伴随着回调，通过回调来获得异步方法的执行结果。 并发和并行 很多人都将并发与并行混淆在一起，它们虽然都可以表示两个或者多个任务一起执行，但执行过程上是有区别的。并发是多个任务交替执行，多任务之间还是串行的；而并行是多个任务同时执行，和并发有本质区别。 对计算机而言，如果系统内只有一个 CPU ，而使用多进程或者多线程执行任务，那么这种情况下多线程或者多进程就是并发执行，并行只可能出现在多核系统中。当然，对 Java 程序而言，我们不必去关心程序是并行还是并发。 临界区 临界区表示的是多个线程共享但同时只能有一个线程使用它的资源。在并行程序中临界区资源是受保护的，必须确保同一时刻只有一个线程能使用它。 阻塞 如果一个线程占有了临界区的资源，其他需要使用这个临界区资源的线程必须在这个临界区进行等待(线程被挂起)，这种情况就是发生了阻塞(线程停滞不前)。 死锁\饥饿\活锁 死锁就是多个线程需要其他线程的资源才能释放它所拥有的资源，而其他线程释放这个线程需要的资源必须先获得这个线程所拥有的资源

前言 随着互联网科技的不断发展，我们以前单纯直接操作数据库的方式已经不能满足现有的高性能和高并发的需求了，于是缓存技术应用而生。 Redis是互联网技术领域使用最为广泛的存储中间件，它是「Remote DictionaryService」的首字母缩写，也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。国内外很多大型互联网公司都在使用 Redis，比如 Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、阿里、京东、华为、新浪微博等等，很多中小型公司也都有应用。也可以说，对 Redis 的了解和应用实践已成为当下中高级后端开发者绕不开的必备技能 当前比较成熟的缓存技术有：MongoDB、Redis、Memcache，那么此文主要讲的是其中的Redis，也许我们在平常的工作中也用到过，但大多数也仅限于简单的使用了，可能很多的知识点我们并不知道，所以今天我们就跟着阿里技术大牛，一起重新认识一下redis吧！ 以下是阿里技术大牛所整理出来的《玩转redis》文档，因为细节太多，所以只展示了目录的主旨内容，需要完整版的可以加群：328993819 免费获取， 开篇 授人以鱼不若授人以渔——Redis 可以用来做什么？ 由Redis 面试想到的 小册的内容范围 Redis 可以做什么