原子操作

某厂面试归来，发现自己落伍了！>>> 原子操作之sync/atomic 对于并发操作而言，原子操作是个非常现实的问题。典型的就是i++的问题。 当两个CPU同时对内存中的i进行读取，然后把加一之后的值放入内存中，可能两次i++的结果，这个i只增加了一次。 如何保证多CPU对同一块内存的操作是原子的。 golang中sync/atomic就是做这个使用的。 具体的原子操作在不同的操作系统中实现是不同的。比如在Intel的CPU架构机器上，主要是使用总线锁的方式实现的。 大致的意思就是当一个CPU需要操作一个内存块的时候，向总线发送一个LOCK信号，所有CPU收到这个信号后就不对这个内存块进行操作了。 等待操作的CPU执行完操作后，发送UNLOCK信号，才结束。** 在AMD的CPU架构机器上就是使用MESI一致性协议的方式来保证原子操作。** 所以我们在看atomic源码的时候，我们看到它针对不同的操作系统有不同汇编语言文件。 如果我们善用原子操作，它会比锁更为高效。 CAS 原子操作中最经典的CAS(compare-and-swap)在atomic包中是Compare开头的函数。 func CompareAndSwapInt32(addr *int32, old, new int32) (swapped bool) func CompareAndSwapInt64(addr

原子操作模型数据findAndModify 推荐的方法，以保持原子将保留所有的相关信息，这些信息经常更新，一个文档中使用嵌入文档。这将确保所有的更新为一个单一文档是原子。 考虑下面的 products 文档： { "_id":1, "product_name": "Samsung S3", "category": "mobiles", "product_total": 5, "product_available": 3, "product_bought_by": [ { "customer": "john", "date": "7-Jan-2014" }, { "customer": "mark", "date": "8-Jan-2014" } ] } 在本文档中，我们已经嵌入客户买该产品的信息在 product_bought_by 字段中。现在，每当新客户购买的产品，我们会先检查该产品是否仍然可以使用 product_available 字段。如果是的话，我们将减少 product_available 字段的值，并在 product_bought_by 字段插入新客户的嵌入文档。此功能将使用 findAndModify 命令，因为它搜索并更新在同一个文档。 >db.products.findAndModify({ query:{_id:2,product_available:{

1.1 Mysql数据库的优化技术 　　1、mysql优化是一个综合性的技术，主要包括 　　　　　　1. 表的设计合理化(符合3NF) 　　　　　　2. 添加适当索引(index) [四种: 普通索引、主键索引、唯一索引unique、全文索引] 　　　　　　3. 分表技术(水平分割、垂直分割) 　　　　　　4. 读写[写: update/delete/add]分离 　　　　　　5. 存储过程 [模块化编程，可以提高速度] 　　　　　　6. 对mysql配置优化 [配置最大并发数my.ini, 调整缓存大小 ] 　　　　　　7. mysql服务器硬件升级 　　　　　　8. 定时的去清除不需要的数据,定时进行碎片整理(MyISAM) 　　2、要保证数据库的效率，要做好以下四个方面的工作 　　　　　　1. 数据库设计 　　　　　　2. sql语句优化 　　　　　　3. 数据库参数配置 　　　　　　4. 恰当的硬件资源和操作系统 　　　　　　此外，使用适当的存储过程，也能提升性能。 　　　　　　这个顺序也表现了这四个工作对性能影响的大小 1.2 数据库表设计 　　1、通俗地理解三个范式 　　　　　　 第一范式： 1NF是对属性的原子性约束，要求属性(列)具有原子性，不可再分解；(只要是关系型数据库都满足1NF) 　　　　 　　第二范式： 2NF是对记录的惟一性约束，要求记录有惟一标识

天天用事务，但是你知道MySQL事务的实现原理吗？ 1. 开篇 相信大家都用过事务以及了解他的特点，如原子性(Atomicity),一致性(Consistency),隔离型(Isolation)以及持久性(Durability)等。今天想跟大家一起研究下事务内部到底是怎么实现的，在讲解前我想先抛出个问题： 事务想要做到什么效果？ 按我理解，无非是要做到可靠性以及并发处理。 可靠性：数据库要保证当insert或update操作时抛异常或者数据库crash的时候需要保障数据的操作前后的一致，想要做到这个，我需要知道我修改之前和修改之后的状态，所以就有了undo log和redo log。 并发处理：也就是说当多个并发请求过来，并且其中有一个请求是对数据修改操作的时候会有影响，为了避免读到脏数据，所以需要对事务之间的读写进行隔离，至于隔离到啥程度得看业务系统的场景了，实现这个就得用MySQL 的隔离级别。 下面我首先讲实现事务功能的三个技术，分别是日志文件(redo log 和 undo log)，锁技术以及MVCC，然后再讲事务的实现原理，包括原子性是怎么实现的，隔离型是怎么实现的等等。最后在做一个总结，希望大家能够耐心看完 redo log与undo log介绍 mysql锁技术以及MVCC基础 事务的实现原理 总结 2 redo log 与 undo log介绍 1. redo

什么是线程安全？ 当多个线程访问某个类时，不管这些的线程的执行顺序如何，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么就称这个类是线程安全的。 哈哈书上的解释，还是翻译过来的，看了半天还是觉得有点奇怪。比如说 “类都能表现出正确的行为” 是毛线意思？在网上搜了一番 "线程安全就是说多线程访问同一代码，不会产生不确定的结果" 这样反而跟容易理解，果然读书要么读原版中文书要么读原版英文书，看英文的翻译版真的是蛋疼无比。说到这里，我以前貌似把多线程及线程安全一个根本性问题搞混淆了： 所谓的多线程是指多个线程跑同一段代码，所以线程安全的概念是针对于这段代码而言的而不是针对线程。 一个 无状态 的Servlet //程序清单2-1 一个无状态的Servelet @ThreadSafe public class StatelessFactorizer implements Servlet{ public void service(ServlerRequest req, ServletResponse resp){ BigInteger i = extractFromRequest(req); BigInteger[] factors = factor(i); encodeIntoResponse(resp, factors); } }

CPU术语 缓存行（Cache line）：缓存的最小单位 比较并交换（Compare and Swap）：CAS操作需要输入两个数值，一个旧值，一个新值，在操作期间先比较旧值有没有发生变化，如果没有发生变化，才交换成新值，发生了变化则不交换 CPU流水线（CPU pipeline）：在CPU中由5~6个不同功能的电路单元组成一条指令处理流水线，然后将一条X86指令分成5~6步后再由这些电路单元分别执行，这样就能实现在一个CUP时钟周期完成一条指令，从而提高CPU的运算速度 内存顺序冲突（Memory order violation）：内存顺序冲突一般是由假共享引起的，假共享是指多个CPU同时修改同一个缓存行的不同部分而引起其中一个CPU的操作无效，当出现内存顺序冲突时，CPU必须清空流水线 处理器实现原子操作 1.使用总线锁保证原子性： 　　　如果多个处理器同时对共享变量进行读写操作（i++），那么共享变量就会被多个处理器同时进行操作，这样读改写操作就不是原子的，操作完之后共享变量的值会和期望的不一致。 总线锁其实就是使用处理器提供的一个LOCK#信号，当一个处理器在总线上输出此信号时，其他处理器的请求将被阻塞住，那么该处理器可以独占共享内存。 2.使用缓存锁保证原子性： 　　　在同一时刻，只需保证对某个内存地址的操作是原子性即可，但总线锁把CPU和内存之间的通信锁住了

所谓原子操作,就是"不可中断的一个或一系列操作" 。 硬件级的原子操作： 在单处理器系统(UniProcessor)中，能够在单条指令中完成的操作都可以认为是" 原子操作"，因为中断只能发生于指令之间。这也是某些CPU指令系统中引入了test_and_set、test_and_clear等指令用于临界资源互斥的原因。 在对称多处理器(Symmetric Multi-Processor)结构中就不同了，由于系统中有多个处理器在独立地运行，即使能在单条指令中完成的操作也有可能受到干扰。 在x86 平台上，CPU提供了在指令执行期间对总线加锁的手段。CPU芯片上有一条引线#HLOCK pin，如果汇编语言的程序中在一条指令前面加上前缀"LOCK"，经过汇编以后的机器代码就使CPU在执行这条指令的时候把#HLOCK pin的电位拉低，持续到这条指令结束时放开，从而把总线锁住，这样同一总线上别的CPU就暂时不能通过总线访问内存了，保证了这条指令在多处理器环境中的 原子性。 软件级的原子操作： 软件级的原子操作实现依赖于硬件原子操作的支持。 对于linux而言，内核提供了两组原子操作接口：一组是针对整数进行操作；另一组是针对单独的位进行操作。 2.1. 原子整数操作 针对整数的原子操作只能对atomic_t类型的数据处理。这里没有使用C语言的int类型，主要是因为： 1)

写在前面的话 本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。 为什么要提供事务机制 Kafka事务机制的实现主要是为了支持 Exactly Once 即正好一次语义 操作的原子性 有状态操作的可恢复性 Exactly Once 《 Kafka背景及架构介绍 》一文中有说明Kafka在0.11.0.0之前的版本中只支持 At Least Once 和 At Most Once 语义，尚不支持 Exactly Once 语义。 但是在很多要求严格的场景下，如使用Kafka处理交易数据， Exactly Once 语义是必须的。我们可以通过让下游系统具有幂等性来配合Kafka的 At Least Once 语义来间接实现 Exactly Once 。但是： 该方案要求下游系统支持幂等操作，限制了Kafka的适用场景 实现门槛相对较高，需要用户对Kafka的工作机制非常了解 对于Kafka Stream而言，Kafka本身即是自己的下游系统，但Kafka在0.11.0.0版本之前不具有幂等发送能力 因此，Kafka本身对 Exactly Once 语义的支持就非常必要。 操作原子性 操作的原子性是指，多个操作要么全部成功要么全部失败，不存在部分成功部分失败的可能。 实现原子性操作的意义在于： 操作结果更可控，有助于提升数据一致性 便于故障恢复。因为操作是原子的

多线程 原子访问 步骤 1 : 原子性操作概念 所谓的 原子性操作 即不可中断的操作，比如赋值操作 int i = 5; 原子性操作本身是线程安全的 但是 i++ 这个行为，事实上是有3个原子性操作组成的。 步骤 1. 取 i 的值 步骤 2. i + 1 步骤 3. 把新的值赋予i 这三个步骤，每一步都是一个原子操作，但是合在一起，就不是原子操作。就 不是线程安全 的。 换句话说，一个线程在步骤1 取i 的值结束后，还没有来得及进行步骤2，另一个线程也可以取 i的值了。 这也是分析同步问题产生的原因 中的原理。 i++ ，i--， i = i+1 这些都是非原子性操作。 只有int i = 1,这个赋值操作是原子性的。 步骤 2 : AtomicInteger JDK6 以后，新增加了一个包 java.util.concurrent.atomic ，里面有各种原子类，比如 AtomicInteger 。 而AtomicInteger提供了各种自增，自减等方法，这些方法都是原子性的。 换句话说，自增方法 incrementAndGet 是线程安全的，同一个时间，只有一个线程可以调用这个方法。 package multiplethread; import java.util.concurrent.atomic.AtomicInteger; public class

同步机制简介 线程同步机制是一套用于协调线程间的数据访问及活动的机制，该机制用于保障线程安全以及实现这些线程的共同目标。 线程同步机制是编程语言为多线程运行制定的一套规则，合理地运用这些规则可以很大程度上保障程序的正确运行。 这套机制包含两方面的内容，一是关于多线程间的数据访问的规则，二是多线程间活动的规则。前者关乎程序运行的正确与否，是相当重要的内容；后者很大程度上是影响程序的运行效率，也是不容忽视的内容。不太严谨地说，数据访问的规则主要是由锁来实现，线程间活动的规则则表现线程调度上。 锁 线程安全问题的产生前提是多个线程并发访问共享数据，那么一种保障线程安全的方法就是将多个线程对共享数据的并发访问转换为串行访问，即一个共享数据一次只能被一个线程访问，该线程访问结束后其他线程才能对其进行访问。锁就是利用这种思路来实现线程同步机制。 GoLang中换了个思路，通过通道（channel）来实现共享数据的安全性。 锁的相关概念 锁在编程里是个蛮有趣的概念。 锁：置于可启闭的器物上,以钥匙或暗码(如字码机构、时间机构、自动释放开关、磁性螺线管等)打开的扣件 —— 在线新华字典 特定代码的作用域或是 lock() 和 unlock() 方法之间的代码构成的区域就是“器物”的表征，线程访问其中的共享数据相当于解开“扣件”，打开了“器物”；通常所说“获得xx锁”，更像是获得了“钥匙或暗码