并行计算

我们目前的计算机都是基于冯偌伊曼结构的，在MIMD作为主要研究对象的系统中，分为两种类型： 共享内存系统 和 分布式内存系统 ，之前我们介绍的基于MPI方式的并行计算编程是属于分布式内存系统的方式，现在我们研究一种基于OpenMP的共享内存系统的并行编程方法。OpenMP是一个什么东东？首先我们来看看来之百度百科中的定义：OpenMp是由OpenMP Architecture Review Board牵头提出的，并已被广泛接受的，用于共享内存并行系统的多处理器程序设计的一套指导性的编译处理方案(Compiler Directive)。OpenMP支持的编程语言包括C语言、C++和Fortran；而支持OpenMp的编译器包括Visual studio，Sun Compiler，GNU Compiler和Intel Compiler等。OpenMP功能中最强大的一个功能是：在我们之前串行程序的源码基础上，只要进行少量的改动，就可以并行化许多串行的for循环，达到明显提高性能的效果。 1.OpenMP环境配置与例子 废话不多少，首先上一个例子，由于本文以Vs 2015作为IDE，C++作为开发语言，在正式进行OpenMP编码之前，需要对编译器稍微配置一下。启动VS2015新建一个C++的控制台应用程序，如下图所示： 然后在项目解决方案资源管理器上选择项目名称，点击右键，选择“属性”

这几天因为实验需求，所以就了解并尝试用了matlab的多核并行计算方法，主要是通过parfor的形式来实现。现在将笔记mark down并share给大家。希望有所帮助。如有错误，欢迎批评指正。 什么是parfor? parfor是parallel for的缩写，是matlab实现多核并行计算的一种方式。它根据你自身电脑的配置，使得你能够在多个进程（workers）上同时运行matlab程序，（进程的数量 = CPU核心的数量。也就是，如果你的电脑是4核的，那么你的matlab可以同时在4个worker上运行），最终实现减少耗时的目的。 但是，要用它，可不是随便就可以乱用的。人家是有条件的。 parfor适用条件？ 下面简单说说parfor在什么情况下用，才是最有效的[3]。 各个worker之间的数据不会互相依赖。也就是说，你第一次迭代输出的数据 与 你第二次迭代输入的数据 没有关系，每一次迭代的运行，都是互相独立的，互不依赖的。或者说，循环内部的变量之间不存在数据传递。 适用于 大量简单的计算 or 小量/大量复杂的计算。（实质上是指 那些迭代耗时很长的循环，用parfor效果才明显。）这是因为，parfor循环内部有通信消耗，所以对于小数量的简单计算时，用parfor并行可能耗时会更长。例如： tic; parfor i = 1:1024000 A = sin(i*2*pi

python可以做并行计算，下面是相关介绍： 一、概览 Parallel Python是一个python模块，提供在SMP（具有多个处理器或多核的系统）和集群（通过网络连接的计算机）上并行执行python代码的机制。它轻巧，易于安装和与其他python软件集成。Parallel Python是一个用纯Python编写的开源和跨平台模块。 二、特性 在SMP和集群上并行执行python代码 易于理解和实现基于Job的并行化技术（易于并行转换串行应用程序） 自动检测最佳配置（默认情况下工作进程数设置为有效处理器数） 动态处理器分配（工作进程数可以在运行时更改） 具有相同功能的后续作业的低开销（实现透明高速缓存以减少开销） 动态负载平衡（作业在运行时在处理器之间分布） 容错（如果其中一个节点发生故障，任务在其他节点上重新调度） 计算资源的自动发现 计算资源的动态分配（自动发现和容错的结果） 网络连接的基于SHA的认证 跨平台可移植性和互操作性（Windows，Linux，Unix，Mac OS X） 跨架构可移植性和互操作性（x86，x86-64等） 开源 相关推荐：《 Python基础视频教程 》 三、动机 现在，用python编写的软件应用在很多应用程序中，包括业务逻辑，数据分析和科学计算。这与市场上的SMP计算机（多处理器或多核）和集群（计算机通过网络连接

第八章 云计算原理与技术 云计算是什么 对一般用户而言：云计算是指通过网络以按需、易扩展的方式获得所需的服务。即随时随地只要能上网就能使用各种各样的服务，如同钱庄、银行、发电厂等。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。 对专业人员而言：是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式–即把原本存储于个人电脑、移动设备等个人设备上的大量信息集中在一起，在强大的服务器端协同工作。它是一种新兴的共享计算资源的方法，能够将巨大的系统连接在一起，以提供各种计算服务。 云计算与分布式计算 分布式计算（狭义）：将待解决问题分成多个小问题，再分配给许多计算系统处理，最后将处理结果加以综合。 特点：把计算任务分派给网络中的多台独立的机器 优点 稀有资源可以共享 通过分布式计算可以在多台计算机上平衡计算负载 可以把程序放在最适合运行它的计算机上 流行的分布式项目 SETI@Home：寻找外星文明 RC-72：密码分析破解，研究和寻找最为安全的密码系统 Folding@home：研究蛋白质折叠、聚合问题 United Devices：寻找对抗癌症的有效的药物 GIMPS：寻找最大的梅森素数（解决较为复杂的数学问题） 云计算包含的分布式计算特征： （1）通过资源调度和组合满足用户的资源请求 （2）对外提供统一的、单一的接口

大数据云计算出来也比较久了，目前也比较的火，最近打算学习下相关的知识。进行学习首先得选择一本书，这里我选择 Hadoop+Spark生态系统操作与实战指南，因为书比较薄，适合入门。作者也提供了相关的视频和配置文件，环境。 hadoop权威指南，书是不错，不过太厚，目前入门不想使用此书，此书打算放在后面再进行看。学习东西，比较喜欢由点到面，步步深入。我的博客也是自己学习总结的过程，同时希望也能帮助到一些人。想买书籍看的，可以点击链接 http://product.dangdang.com/25163568.html 。 要学hadoop首先我们需要了解一些相关的概念，知道hadoop是什么，可以干什么，然后我们才能深入的学习。 一：hadoop版本和生态系统 1，hadoop版本的优缺点 目前市面上hadoop主要有两种：apache版本和CDH版本 1）apache版本的hadoop 官网：http://hadoop.apache.org/ 优势：对硬件要求低 劣势：搭建繁琐，维护繁琐，升级繁琐，添加组件繁琐 2）CDH版本的hadoop 官网：https://www.cloudera.com/ 优势：搭建方便，维护较为容易，升级以及迁移容易，添加组件容易 缺点：对硬件要求高 2，Hadoop生态系统和组件介绍 Hadoop生态组件主要包括：MapReduce，HDFS,HBase

海量数据存储难点 ：数据量过大，数据中什么情况都可能存在；软硬件要求高，系统资源占用率高；要求很高的处理方法和技巧。 海量数据存储处理经验 : 一、选用优秀的数据库工具 现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。 二、对海量数据进行分区操作 对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。 三、编写优良的程序代码 处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题

海量数据处理常用技术概述 如今互联网产生的数据量已经达到PB级别，如何在数据量不断增大的情况下，依然保证快速的检索或者更新数据，是我们面临的问题。 所谓海量数据处理，是指基于海量数据的存储、处理和操作等。因为数据量太大无法在短时间迅速解决，或者不能一次性读入内存中。 在解决海量数据的问题的时候，我们需要什么样的策略和技术，是每一个人都会关心的问题。今天我们就梳理一下在解决大数据问题 的时候需要使用的技术，但是注意这里只是从技术角度进行分析，只是一种思想并不代表业界的技术策略。 常用到的算法策略 分治：多层划分、MapReduce 排序：快速排序、桶排序、堆排序 数据结构：堆、位图、布隆过滤器、倒排索引、二叉树、Trie树、B树，红黑树 Hash映射：hashMap、simhash、局部敏感哈希 海量数据处理－－从分而治之到Mapreduce 分治 分治是一种算法思想，主要目的是将一个大问题分成多个小问题进行求解，之后合并结果。我们常用到的有归并排序: 先分成两部分进行排序，之后在合并 ， 当然还有其他的很多应用，就比如是我们上篇文章中提到的Top K问题，就是将大文件分成多个小文件进行统计，之后进行合并结果。这里我们对分治进行抽象， 依然从上述提到的Top K频率统计开始出发。定义如下：有M多个Query日志文件记录，要求得到Top K的Query。 我们可以抽象成几个步骤：

分组加密模式 定义 在加密一个较长的数据时，把较长的数据分解为若干个数据块，需要使用算法对每个单数据块进行重复的加密操作。分组加密模式描述的如何进行这种重复加密的过程。 分类(5种) 1.电码本模式（Electronic Codebook Book (ECB)） 这种模式是将整个明文分成若干段相同的小段，然后对每一小段进行加密。 优点: 1.简单 ；2.有利于并行计算；3.误差不会被传送； 缺点: 1.不能隐藏明文的模式；2.可能对明文进行主动攻击 2.密码分组链接模式（Cipher Block Chaining (CBC)） 这种模式是先将明文切分成若干小段，然后每一小段与初始块或者上一段的密文段进行异或运算后，再与密钥进行加密。 优点： 1.不容易主动攻击,安全性好于ECB,适合传输长度长的报文,是SSL、IPSec的标准。 缺点： 1.不利于并行计算； 2.误差传递； 3.需要初始化向量IV 3.计算器模式（Counter (CTR)） 计数器模式将分组密码转换为流密码。它通过加密“计数器”的连续值来产生下一个密钥流块。 优点:CTR模式的优点：不要要填充、可事前进行加密，解密的预备。加密，解密运用相同结构。对包含某些错误信息比特的密文进行解密时，只有明文中相应的比特会出错。并支持并行计算。 缺点：主动攻击者反转密文分组中的某些比特时，明文分组中相应的比特也会被反转。 4

2019-12-01 21:17:38 参考：https://www.iteye.com/blog/xuyuanshuaaa-1172511 现在MapReduce/Hadoop以及相关的数据处理技术非常热，因此我想在这里将MapReduce的优势汇总一下，将MapReduce与传统基于HPC集群的并行计算模型做一个简要比较，也算是对前一阵子所学的MapReduce知识做一个总结和梳理。 　　随着互联网数据量的不断增长，对处理数据能力的要求也变得越来越高。当计算量超出单机的处理能力极限时，采取并行计算是一种自然而然的解决之道。在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce，MapReduce相较于传统的并行计算框架有什么优势，这是本文关注的问题。 　　文章之初先给出一个传统并行计算框架与MapReduce的对比表格，然后一项项对其进行剖析。　 MapReduce和HPC集群并行计算优劣对比 ▲ 　　在传统的并行计算中，计算资源通常展示为一台逻辑上统一的计算机。对于一个由多个刀片、SAN构成的HPC集群来说，展现给程序员的仍旧是一台计算机，只不过这台计算拥有为数众多的CPU，以及容量巨大的主存与磁盘。在物理上，计算资源与存储资源是两个相对分离的部分，数据从数据节点通过数据总线或者高速网络传输到达计算节点

原文转自：https://abcdabcd987.com/python-multiprocessing/ Python 多核并行计算 Nov 2, 2016 • python 以前写点小程序其实根本不在乎并行，单核跑跑也没什么问题，而且我的电脑也只有双核四个超线程（下面就统称 核 好了），觉得去折腾并行没啥意义（除非在做IO密集型任务）。然后自从用上了32核128GB内存，看到 htop 里面一堆空载的核，很自然地就会想这个并行必须去折腾一下。后面发现，其实 Python 的并行真的非常简单。 multiprocessing vs threading Python 自带的库又全又好用，这是我特别喜欢 Python 的原因之一。Python 里面有 multiprocessing 和 threading 这两个用来实现并行的库。用线程应该是很自然的想法，毕竟（直觉上）开销小，还有共享内存的福利，而且在其他语言里面线程用的确实是非常频繁。然而，我可以很负责任的说，如果你用的是 CPython 实现，那么 用了 threading 就等同于和并行计算说再见了 （实际上，甚至会比单线程更慢），除非这是个IO密集型的任务。 GIL CPython 指的是 python.org 提供的 Python 实现。是的，Python 是一门语言，它有各种不同的实现，比如 PyPy , Jython ,