多核cpu

文章参考： https://www.cnblogs.com/csfeng/p/8670704.html 当面临这些概念问题的时候，有两个关键词无法绕开，那就是并行和并发。我的理解：并发是指宏观上并行，其实不是并行，例如，多进程其实是将所有进程按时间分为一个一个的时间片，每一个时刻只执行该运行的片，时间片过期后转而执行下一个进程的时间片。 首先，要先了解几个概念： 　　1、进程是程序的一次执行。 　　2、进程是资源分配的基本单位（调度单位）。 　　3、一个进程可以包括多个线程。 　　4、在单CPU计算机中，有一个资源是无法被多个程序并行使用的：CPU。 　　5、操作系统调度器：拆分CPU为一段段时间的运行片，轮流分配给不同的程序。 　　6、操作系统内存管理模块：管理物理内存、虚拟内存相关的事务。 由于CPU同时刻只能执行一个进程，如果我们不加以控制的话，一个进程可能使用CPU直到运行结束，于是出现了操作系统调度器，而进程也成为了调度单位。 　　进程的运行不仅仅需要CPU，还需要很多其他资源，如内存啊，显卡啊，GPS啊，磁盘啊等等，统称为程序的执行环境，也就是程序上下文。 　　在这里就出现了并发的概念，调度器切换CPU给不同进程使用的速度非常快，于是在使用者看来程序是在同时运行，这就是并发，而实际上CPU在同一时刻只在运行一个进程。 　　CPU进程无法同时刻共享

你是否曾经有过要计算一个非常大的数据(几百GB)的需求？或在里面搜索，或其它操作——一些无法并行的操作。数据专家们，我是在对你们说。你可能有一个4核或更多核的CPU，但我们合适的工具，例如 grep , bzip2 , wc , awk , sed 等等，都是单线程的，只能使用一个CPU内核。 借用卡通人物Cartman的话，“如何我能使用这些内核”? 要想让Linux命令使用所有的CPU内核，我们需要用到 GNU Parallel 命令，它让我们所有的CPU内核在单机内做神奇的map-reduce操作，当然，这还要借助很少用到的 –pipes 参数(也叫做 –spreadstdin )。这样，你的负载就会平均分配到各CPU上，真的。 BZIP2 bzip2是比gzip更好的压缩工具，但它很慢！别折腾了，我们有办法解决这问题。 以前的做法： cat bigfile.bin | bzip2 --best > compressedfile.bz2 现在这样： cat bigfile.bin | parallel --pipe --recend '' -k bzip2 --best > compressedfile.bz2 尤其是针对bzip2，GNU parallel在多核CPU上是超级的快。你一不留神，它就执行完成了。 GREP 如果你有一个非常大的文本文件，以前你可能会这样：

<!--一个博主专栏付费入口结束--> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css"> <div id="content_views" class="markdown_views prism-atom-one-dark"> <!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <h2><a name="t0"></a><a id="GIL__Python__0"></a>GIL 与 Python 线程的纠葛</h2> GIL 是什么东西？它对我们的 python 程序会产生什么样的影响？我们先来看一个问题。运行下面这段 python 程序，CPU 占用率是多少？ def dead_loop ( )