并行计算

大数据集群计算利器之MPI/OpenMP ---以连通域标记算法并行化为例 1 背景 图像连通域标记算法是从一幅栅格图像（通常为二值图像）中，将互相邻接（4邻接或8邻接）的具有非背景值的像素集合提取出来，为不同的连通域填入数字标记，并且统计连通域的数目。通过对栅格图像中进行连通域标记，可用于静态地分析各连通域斑块的分布，或动态地分析这些斑块随时间的集聚或离散，是图像处理非常基础的算法。目前常用的连通域标记算法有1）扫描法（二次扫描法、单向反复扫描法等）、2）线标记法、3）区域增长法。二次扫描法由于简单通用而被广泛使用！ 图1 连通域标记示意图 随着所要处理的数据量越来越大，使用传统的串行计算技术的连通域标记算法运行时间过长，难以满足实际应用的效率需求。随着并行计算技术的发展，利用不同的编程模型，许多数据密集型的计算任务可以被同时分配给单机多核或多机多处理器进行并行处理，从而有可能大幅度缩减计算时间。目前在集群计算领域广泛使用MPI来进行并行化，在单机领域广泛使用OpenMP进行化，本文针对基于等价对的二值图像连通域标记算法的进行了并行化设计，利用不同的并行编程模型分别实现了不同的并行算法，并通过实验对利用不同并行编程模型所实现的连通域标记算法进行了性能对比分析。 2 二次扫描串行算法思想 　　 顾名思义，二次扫描串行算法步骤包含两部分。 2.1 第一次扫描 a）标记 b

典型并行计算机系统 共享存储多处理机系统 分布存储多计算机系统 分布共享存储多计算机系统 集群系统 对称多处理机（SMP） 采用商用微处理器，通常有片上和片外cache，基于总线联接，集中式共享存储，UMA（Uniform Memory Access 均匀访存模型）结构。 大规模并行机（MPP） 成百上千个处理器组成的大规模计算机系统，规模时变化的。NORMA（No remote Memory Access 非远程访存模型），高总计贷款，相对低延迟，定制互连。 分布式共享存储系统（DSM） 共享存储系统采用分布共享，减少集中共享的冲突。采用高速缓存来缓和由共享引起的冲突和分布存储引起的长延迟。保持了共享编程的方便性和软件的可移植性。 天河二号 Cluster架构，3120000处理器，存储规模1024000GB，编译器icc，操作系统Kylin Linux。 神威·太湖之光 MPP架构，10649600处理器，存储规模1310720GB，并行编程采用MPI，OpenMP，OpenACC 来源： https://www.cnblogs.com/terieqin/p/9231778.html

最近在学一门课，叫做“C++与并行计算”。要用到多CPU（进程）并行的原理，实现语言是C++的MPI接口。联想到上学期用到CUDA C/C++来做并行计算，就对这两门语言做一个总结，分享下自己关于并行计算的认识。 1 并行计算的基本原理 并行计算一般有两个维度，一个是指令（Instruction）或程序（Program），另一个是数据（Data）。这样，就可以归纳出各种并行模式（S代表Single，M代表Multiple）。 除了SISD，其他几个都算是并行计算方法。这里重点介绍下SPMD。 SPMD是最简单的一种并行计算模式。SP意味着程序员只需写一份代码，MD意味着这些代码对不同的数据应该分别处理。而并行，则要求数据处理的过程要同时进行。通俗的讲，就是一份代码被复制了多份，然后每份代码单独跑一份数据，从而实现并行。这就引出了一个问题：数据是如何存储的？ 1.1 数据的存储 数据的存储可以分为两大类：分布式存储和共享内存。 分布式存储意味着不同的进程/指令处理不同的数据，大家互相不干扰。基于多CPU的MPI并行计算接口用的就是这种思想。 共享内存则要求不同的进程/指令可以同时修改同一块数据。这样，进程之间的通信将变得简单。缺点是容易造成数据读写冲突而需要谨慎对待。基于GPU的CUDA C/C++并行计算就用到了这种方法。 2 MPI：多CPU并行计算

冒泡排序算法： 　　- 算法分析: 　　　　时间复杂度： 　　　　　　经过几轮修改，数组正序时，最优复杂度可以达到O(n)；逆序时，最差复杂度O(n2)。 　　　　稳定性： 　　　　　　算法中，每次只有前一个元素大于后一个元素，才会进行交换。所以数值相同的两个元素，不会发生位置互换，所以可以保持之前前后顺序。故，冒泡排序是稳定的排序。 　　算法演示如下： 　　　　　　 奇偶排序算法： 时间复杂度/空间复杂度; 排序方法 时间复杂度 空间复杂度 稳定性 复杂度 平均情况 最坏情况 最好情况 奇偶排序 O(nlog 2 n) O(nlog 2 n) O(n) O(1) 稳定 较简单 适用于并行计算的指令必须满足以下3个条件: 1、指令J的输入和指令I的输出交集为空；//不依赖另一条指令的输出作为输入 2、指令I的输入和指令J的输出交集为空； 3、指令I和指令J的输出交集为空；；//确保不会同时对相同的变量进行写操作 不适用于并行处理的场景： 1、两条指令享有共同的输出集； 2、一条指令的输出包含全部或者部分另一条指令的输入; 3、一条指令的输入包含全部或者部分另一条指令的输出。 来源： https://www.cnblogs.com/able7/p/10194863.html

串行计算： 并行计算： 这里我们假定了要解决的问题完全可分为4个独立运行的部分，由4个processors来独立运行。实际问题中，独立性和关联性是一个“太极”关系，就涉及到划分的粒度和通讯的频率等等问题。 计算机系统可以分为以下四类： 　　　　 单指令单数据流（SISD） ：一个单处理器执行一个单指令流，对保存在一个存储器中的数据进程进行操作。 　　　　 单指令多数据流（SIMD） ：一个机器指令控制多个处理部件步伐一致的同时执行。每个处理部件都有一个相关的数据处理空间，因此，每条指令由不同的处理器在不同　的数据集合上执行。 　　　　 多指令单数据流（MISD） ：一系列数据被传送到一组处理器上，每个处理器执行不同的指令序列。 　　　　 多指令多数据流（MIMD） ：一组处理器同时在不同的数据集上执行不同的指令序列。 1、 什么是MPP？ MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。 简单来说，MPP是将任务并行的分散到多个服务器和节点上

　　并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。　　 　　并行计算或称平行计算是相对于串行计算来说的。所谓并行计算可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。 　　并行计算科学中主要研究的是空间上的并行问题。从程序和算法设计人员的角度来看，并行计算又可分为数据并行和任务并行。空间上的并行导致了两类并行机的产生，按照Flynn的说法分为： 单指令流多数据流（SIMD） 和 多指令流多数据流（MIMD） 。我们常用的串行机也叫做单指令流单数据流（SISD）。 　　MIMD类的机器又可分为以下常见的五类：并行向量处理机（PVP）、对称多处理机（SMP）、大规模并行处理机（MPP）、工作站机群（COW）、分布式共享存储处理机（DSM）。 　　目前常见的并行编程技术包括：MPI、OPENMP、OPENCL、OPENGL、CUDA

近看到几篇不错的关于并行计算的文章。感觉不错，给大家推荐一下。并行计算的时代就要来了，大家还是要热热身的。 并行思维 [1] 并行思维 [II] 并行思维 [III] 每个软件开发人员都不得不面对并行编程。以前以及现在，我们在完成任务时，首先会考虑选择最佳算法，实现语言等。但现在我们必须首先考虑任务的内在并行性。而这反过来又会影响我们对算法和实现的抉择。如果试着在最后考虑并行，还不如不要思考并行。程序也不能很好的工作。 谈谈多线程编程（一）- 安全性策略 在多线程编程中，安全是我们考虑的最重要的因素。通常程序员都会使用锁来满足安全要求，但是只用锁并不能写出良好的多线程代码，因此我们有必要更深入一点，对线程安全策略进行更加全面的了解。 谈谈多线程编程（二）- 不变对象 不变对象是指对象的状态在构造后不可改变。这从根本上消除了线程间同步的需求，与锁或者阻塞策略不同的是，不变对象对运行时和设计时不会带来任何额外的开销，因此不变对象是多线程编程中一个很基本的策略。 -------------------------------------------------- 下面的这个系列就有点深了，看得有点云里雾里的。 但是，了解一下也无妨。 "Loads are not reorderd with other loads" is a FACT!! 下面的两个程序在一个双核的CPU上执行。 P0

/*--> */ /*--> */ Linux 下 mpich2 安装 1 ：从 MPICH2 官网下载源代码， http://www.m cs.anl.gov/r esearch/proj ects/mpich2 /downloads/tarballs/1.0.8/mpich2-1.0.8.tar.gz 目前最新的是 1.0.8 ，当然如果你使用的 windows 平台也可以下载 http://www.m cs.anl.gov/r esearch /projects/mpich2/downloads/tarballs/1.0.8/mpich2-1.0.8-win-ia32.msi ，以及 http://www.m cs.anl.gov/r esearch/proj ects/mpich2/ documentatio n/files/mpic h2-1.0.8-win devguide.pdf 这是 windows 平台下的开发文档。 你也可以登录 http://www.m cs.anl.gov/r esearch/proj ects/mpich2/ downloads/in dex.php?s=do wnloads ，查看你需要的 mpich 版本，根据自己需要下载即可。 2 、然后，将 mpich2-1.0.8.tar.gz 解压到 /home/mpi/mpich2 / src

Imports System Imports System .Threading Module Module1 Sub Main ( ) Dim mythread1 As Thread Dim mythread2 As Thread Dim mythread3 As Thread '创建线程对象 mythread1 = New Thread ( AddressOf mythreadrun ) mythread2 = New Thread ( AddressOf mythreadrun ) mythread3 = New Thread ( AddressOf mythreadrun ) Console.WriteLine ( Now.ToLongTimeString & "线程对象创建完毕 , 开始执行线程" ) '执行线程 mythread1.Start ( "线程 1 " ) mythread2.Start ( "线程 2 " ) mythread3.Start ( "线程 3 " ) '等待线程完成 mythread1.Join ( ) mythread2.Join ( ) mythread3.Join ( ) '线程执行完毕 Console.WriteLine ( Now.ToLongTimeString & "线程执行完毕 !") End Sub Public Sub

2019-12-01 21:17:38 参考：https://www.iteye.com/blog/xuyuanshuaaa-1172511 现在MapReduce/Hadoop以及相关的数据处理技术非常热，因此我想在这里将MapReduce的优势汇总一下，将MapReduce与传统基于HPC集群的并行计算模型做一个简要比较，也算是对前一阵子所学的MapReduce知识做一个总结和梳理。 　　随着互联网数据量的不断增长，对处理数据能力的要求也变得越来越高。当计算量超出单机的处理能力极限时，采取并行计算是一种自然而然的解决之道。在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce，MapReduce相较于传统的并行计算框架有什么优势，这是本文关注的问题。 　　文章之初先给出一个传统并行计算框架与MapReduce的对比表格，然后一项项对其进行剖析。　 MapReduce和HPC集群并行计算优劣对比 ▲ 　　在传统的并行计算中，计算资源通常展示为一台逻辑上统一的计算机。对于一个由多个刀片、SAN构成的HPC集群来说，展现给程序员的仍旧是一台计算机，只不过这台计算拥有为数众多的CPU，以及容量巨大的主存与磁盘。在物理上，计算资源与存储资源是两个相对分离的部分，数据从数据节点通过数据总线或者高速网络传输到达计算节点