cpu缓存

欢迎大家前往 腾讯云社区 ，获取更多腾讯海量技术实践干货哦~ 作者：kevinxiaoyu，高级研究员，隶属腾讯TEG-架构平台部，主要研究方向为深度学习异构计算与硬件加速、FPGA云、高速视觉感知等方向的构架设计和优化。“深度学习的异构加速技术”系列共有三篇文章，主要在技术层面，对学术界和工业界异构加速的构架演进进行分析。 一、概述：通用=低效 作为通用处理器，CPU (Central Processing Unit) 是计算机中不可或缺的计算核心，结合指令集，完成日常工作中多种多样的计算和处理任务。然而近年来，CPU在计算平台领域一统天下的步伐走的并不顺利，可归因于两个方面，即自身约束和需求转移。 （1）自身约束又包含两方面，即半导体工艺，和存储带宽瓶颈。 一方面，当半导体的工艺制程走到7nm后，已逼近物理极限，摩尔定律逐渐失效，导致CPU不再能像以前一样享受工艺提升带来的红利：通过更高的工艺，在相同面积下，增加更多的计算资源来提升性能，并保持功耗不变。为了追求更高的性能，更低的功耗，来适应计算密集型的发展趋势，更多的设计通过降低通用性，来提升针对某一（或某一类）任务的性能，如GPU和定制ASIC。 另一方面，CPU内核的计算过程需要大量数据，而片外DDR不仅带宽有限，还具有较长的访问延迟。片上缓存可以一定程度上缓解这一问题，但容量极为有限。Intel通过数据预读、乱序执行

多线程：硬件基础 目录 多线程：硬件基础 一、高速缓存 二、缓存一致性协议 三、写缓冲器 一、高速缓存 现代CPU的处理性能是远远高于主内存，一次内存读或者写操作的时间内，CPU能够处理上百条指令。为了弥补CPU与内存之间性能的鸿沟，引入高速缓存（Cache）。 高速缓存的性能远远高于主内存，但是容量要小于主内存 。每个处理器都有其独立的高速缓存。有了高速缓存之后，处理器在做内存读写操作时就不必直接与主内存打交道，而是与缓存打交道（从缓存中读或写）。 缓存的数据结构相当于一个散列表，由若干桶和缓存条目组成，缓存条目又可以细分成三个部分：Data Block（缓存行）中存储了从内存中读取的或者将要写入内存的数据；Tag储存了缓存行中数据相应的内存地址的部分信息（内存地址的高位部分比特）；Flag用于表示缓存行的状态信息，有哪些中状态值下面会进一步说明。 那么，处理器如果想操作储存在主内存地址A的变量时，具体时如何与缓存打交道的呢？ 处理器把地址A解码为index，tag，offset三个数据。 首先通过index值定位到桶。 然后通过tag值比对定位到具体的缓存条目。 最后根据offset偏移量的值定位到缓存行中该变量的起始位置。 根据上述步骤如如果能够定位到相应的缓存行且所在缓存条目的Flag值表示缓存条目是有效的，我们就称相应的内存操作产生了 缓存命中 ，相反则称为 缓存未命中

PART 2—主存储器 2.7 提高访存速度的措施 2.7.1 单体多字系统 原理：在一个存取周期内，从同一地址取出四条指令（之前是一次一个的），再将这四条指令按顺序送至CPU执行——速度提高了 前提：指令和数据连续 2.7.2 多体并行系统 2.7.3 高性能存储芯片 (1)SDRAM (2)RDRAM (3)带Cache的RDRAM PART 3—高速缓冲存储器 3.1 概述 3.1.1 问题的提出 ①CPU等待I/O设备，浪费时间→在CPU与主存之间加一级缓存 ②主存速度提高慢，跟不上CPU的速度了 ## 重大发现：由于指令和数据在主存里是 连续存放 的,一些子程序、循环程序和常数会多次调用→CPU访存有相对的局限性→将CPU近期要用到的数据提前送到cache，提高速度 3.1.2 Cache的工作原理 缓存里的块数远小于主存的，所以缓存里的块数是根据CPU的需要不断变化的。好是好，只是缓存里的每个块都要做一个标记，（啊~这次来我这里待的小可爱是你呀~~），标记就是主存里的块的编号。那当CPU读信息时，先将两者的块地址进行比较。 命中率与容量（越大越好）、块长（过小过大都不好）有关 3.1.3 Cache的基本结构 写操作 ：使Cache与主存内容保持一致 法一：写直达法 写操作时，数据既写入Cache又写入主存→保证了数据一致，但增加了访存次数 法二：写回法 写操作时

性能调优 不用运行的代码才是绝好的代码。其他只是好的代码。所以，性能调优时，最好的选择是首先确保运行尽可能少的代码。 OpCode 缓存 首先，最快且最简单的选择是启用 OpCode 缓存。OpCode 缓存的更多信息可以在 这里 找到。 在上图，我们看到启用 Zend OpCache 后发生的情况。最后一行是我们的基准，也即没有启用缓存的情况。 在中间行，我们看到较小的性能提升，以及内存使用量的大幅减少。小的性能提升(很可能)来自 Zend OpCache 优化，而非 OpCode 缓存。 第一行是优化和 OpCode 缓存后结果，我们看到很大的性能提升。 现在，我们看看 APC 之前和之后的变化。如上图所示，跟 Zend OpCache 相比，随着缓存的建立，我们看到初始(中间行)请求的性能下降，在消耗时长与内存使用量方面的表现都明显下降。 接着，随之 opcode 缓存的建立，我们看到类似的性能提升。 内容缓存 第二件我们能做的事是缓存内容——这对 WordPress 而言小菜一碟。它提供了许多安装简便的插件来实现内容缓存，包括 WP Super Cache。WP Super Cache 会创建网站的静态版本。该版本会在出现诸如评论事件时依照网站设置自动过期。(例如，在非常高负载情况下，您可能会想禁止任何原因造成的缓存过期)。 内容缓存只能在几乎没有写操作时有效运行

原创声明 本文作者：黄小斜 转载请务必在文章开头注明出处和作者。 本文思维导图 什么是缓存 计算机中的缓存 做后端开发的同学，想必对缓存都不会陌生了，平时我们可能会使用Redis，MemCache这类缓存组件，或者是本地缓存，来实现一些后端的应用。 那么，严格来说，到底什么才是缓存呢，先来看看百度百科的定义。 缓存（cache），原始意义是指访问速度比一般随机存取存储器（RAM）快的一种高速存储器，通常它不像系统主存那样使用DRAM技术，而使用昂贵但较快速的SRAM技术。缓存的设置是所有现代计算机系统发挥高性能的重要因素之一。 最早，“缓存”一词是用来指代计算机硬件中的高速缓存，因为CPU和内存的运算速度差距过大，如果CPU直接和内存交互的话，会浪费掉CPU的大量运算时间，于是有了高速缓存，来为这两个速度差距甚远的组件做中介。 具体的工作原理是，CPU要取数据的时候，先找高速缓存要，由于它们俩的速度差距并不大，所以CPU不会损失掉太多性能，如果数据就在缓存中，那么就直接在缓存里取，否则则到内存去取，取完之后还要留在高速缓存中，以便于下次CPU要使用时无需再到内存中去取。 其实，高速缓存还可以分为一级缓存，二级缓存和三级缓存等，每往下一级，速度也就越慢，价格也越低，毕竟，成本是我们不得不考虑的因素，要不然一切硬件都上顶配，就不需要讨论软件的优化了。 除了高速缓存外，其实还有硬盘缓存

3 月，跳不动了？>>> 原创声明 本文作者：黄小斜 转载请务必在文章开头注明出处和作者。 本文思维导图 什么是缓存 计算机中的缓存 做后端开发的同学，想必对缓存都不会陌生了，平时我们可能会使用Redis，MemCache这类缓存组件，或者是本地缓存，来实现一些后端的应用。 那么，严格来说，到底什么才是缓存呢，先来看看百度百科的定义。 缓存（cache），原始意义是指访问速度比一般随机存取存储器（RAM）快的一种高速存储器，通常它不像系统主存那样使用DRAM技术，而使用昂贵但较快速的SRAM技术。缓存的设置是所有现代计算机系统发挥高性能的重要因素之一。 最早，“缓存”一词是用来指代计算机硬件中的高速缓存，因为CPU和内存的运算速度差距过大，如果CPU直接和内存交互的话，会浪费掉CPU的大量运算时间，于是有了高速缓存，来为这两个速度差距甚远的组件做中介。 具体的工作原理是，CPU要取数据的时候，先找高速缓存要，由于它们俩的速度差距并不大，所以CPU不会损失掉太多性能，如果数据就在缓存中，那么就直接在缓存里取，否则则到内存去取，取完之后还要留在高速缓存中，以便于下次CPU要使用时无需再到内存中去取。 其实，高速缓存还可以分为一级缓存，二级缓存和三级缓存等，每往下一级，速度也就越慢，价格也越低，毕竟，成本是我们不得不考虑的因素，要不然一切硬件都上顶配，就不需要讨论软件的优化了。

总结经常遇到的问题： 　　1、redis如何保证数据不丢失 　　　　a、主从实时同步（除非主服务器挂了），数据实时同步 　　　　b、写log文件（短暂丢失） 　　2、雪崩+穿透（用乐观锁） 　　　　http://www.cnblogs.com/zhangweizhong/p/6258797.html 高并发（要用到缓存） 缓存雪崩 　　缓存雪崩是由于原有缓存失效(过期)，新缓存未到期间。所有请求都去查询数据库，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机。从而形成一系列连锁反应，造成整个系统崩溃。 　　1. 碰到这种情况，一般并发量不是特别多的时候，使用最多的解决方案是加锁排队。（ 只有一个请求去同步数据，其他的请求去排队不读数据库 ） public object GetProductListNew() { const int cacheTime = 30; const string cacheKey = "product_list"; const string lockKey = cacheKey; var cacheValue = CacheHelper.Get(cacheKey); if (cacheValue != null) { return cacheValue; } else { lock (lockKey) { cacheValue =

Java Volatile 关键字是一种轻量级的数据一致性保障机制，之所以说是轻量级的是因为 volatile 不具备原子性，它对数据一致性的保障体现在对修改过的数据进行读取的场景下（也就是数据的可见性）。比起对读操作使用互斥锁， volatile 是一种很高效的方式。因为 volatile 不会涉及到线程的上下文切换，以及操作系统对线程执行的调度运算。同时 volidate 关键字的另一个功能是解决“指令重排序问题”。 Volatile 可见性承诺 Java volatile关键字保证了跨线程更改线程间共享变量的可见性。这可能听起来有点抽象，让我们详细说明一下。 在多线程应用程序中，线程对 non-volatile 变量进行操作，出于性能原因，每个线程在处理变量时，可以将它们从主内存复制到CPU缓存中。如果你的计算机包含一个以上的CPU，每个线程可以在不同的CPU上运行。这意味着，每个线程可以将同一个变量复制到不同CPU的CPU缓存中。这就和计算机的组成和工作原理息息相关了，之所以在每一个 CPU 中都含有缓存模块是因为出于性能考虑。因为 CPU 的执行速度要比内存（这里的内存指的是 Main Memory）快很多，因为 CPU 要对数据进行读、写的操作，如果每次都和内存进行交互那么 CPU 在等待 I/O 这个过程中就消耗了大量时间

一、缓存穿透 我们在项目中使用缓存通常都是先检查缓存中是否存在，如果存在直接返回缓存内容，如果不存在就直接查询数据库然后再缓存查询结果返回。这个时候如果我们查询的某一个数据在缓存中一直不存在，就会造成每一次请求都查询DB，这样缓存就失去了意义，在流量大时，可能DB就挂掉了。 那这种问题有什么好办法解决呢？ 要是有人利用不存在的key频繁攻击我们的应用，这就是漏洞。 有一个比较巧妙的作法是，可以将这个不存在的key预先设定一个值。 比如，”key” , “&&”。 在返回这个&&值的时候，我们的应用就可以认为这是不存在的key，那我们的应用就可以决定是否继续等待继续访问，还是放弃掉这次操作。如果继续等待访问，过一个时间轮询点后，再次请求这个key，如果取到的值不再是&&，则可以认为这时候key有值了，从而避免了透传到数据库，从而把大量的类似请求挡在了缓存之中。 二、缓存并发 有时候如果网站并发访问高，一个缓存如果失效，可能出现多个进程同时查询DB，同时设置缓存的情况，如果并发确实很大，这也可能造成DB压力过大，还有缓存频繁更新的问题。 我现在的想法是对缓存查询加锁，如果KEY不存在，就加锁，然后查DB入缓存，然后解锁；其他进程如果发现有锁就等待，然后等解锁后返回数据或者进入DB查询。 这种情况和刚才说的预先设定值问题有些类似，只不过利用锁的方式，会造成部分请求等待。 三、缓存失效

硬件层数据一致性 协议很多 intel 用MESI https://www.cnblogs.com/z00377750/p/9180644.html 现代CPU的数据一致性实现 = 缓存锁(MESI ...) + 总线锁 读取缓存以cache line为基本单位，目前64bytes/字节 位于同一缓存行的两个不同数据，被两个不同CPU锁定，产生互相影响的伪共享问题 使用缓存行的对齐能够提高效率 来源： CSDN 作者： Forest24 链接： https://blog.csdn.net/Forest24/article/details/104742490