并行计算

摘 要 : 本文前半部分主要是关于Erlang编程语言相关的内容；着重就一般学习编程语言的一般的关注点来阐述了Erlang编程语言的基本语法点，主要包括：Erlang的变量、Erlang的数据类型、Erlang的语句和Erlang编程语言的函数与模块四个方面；本文的后半部分主要就Erlang语言的并行化编程的实践：Erlang的并行化编程与Erlang并行化编程在矩阵乘积的实际应用，通过实践，可以发现，Erlang语言确实在并行化编程方面表现得很优秀。 关键词 :并行计算；Erlang；编程语言；矩阵相乘 自从计算机出现的时候开始，其就迅速发展。短暂的几十年，计算机已经从当初的单核走过，向多核发展，直到现在的多机系统。提升计算机的计算性能和计算速率一直是计算机发展的不变的主题，但是随着单位面积晶体管数目的饱和，单纯的以晶体管的数目来衡量计算机的发展水平已经成为过去，单纯地以增加单位面积晶体管的数目来提升计算的性能已经走到了尽头，就像C++标准委员会主席Herb Sutter所说的那样我们的《免费的午餐已经结束》，计算机的发展开始向着多核的方向发展，但是为了达到一定的计算速率，仅仅是依靠多核来提升的代价是昂贵的，且依靠这样的方式有一定的局限性。为了节省成本与得到更大的计算性能，多机系统逐渐出现。利用多个一般的计算核心来组成计算机集群进行并行计算或分布式计算来提升计算的能力

视频来源：新竹清华大学：并行计算与并行编程课程 上图结论：随着年限，计算力的增长很快，而I/O近于平缓，二者之间的差距增大，带来不利的影响。需要一些方法来处理这较大的差距。 解决方案： 1：I/O 内存等级：寻找新的硬件存储 2: 并行I/O：资源是分散式的，每一层最好是平行，可以发挥出最好性能。OST:存放目录索引数据，这里是Non-volatile内存。 3：Burst buffering： Buffering(传输资料时速度不同一，通过在中间增加一块内存进行缓和)，优点：由于是内存，速度快，前面部分burst,后半部分频宽很稳定。而且是non-volatile内存可以防止资料丢失。 总结： 来源： https://www.cnblogs.com/fourmi/p/11923598.html

视频来源：新竹清华大学：并行计算与并行编程课程 概念： 相比常规计算机 超级计算机 具有高层次的计算能力。 计算能力性能的评估标准 FLOPS, 每秒处理的浮点操作数。 快的原因：（1）最新的硬件技术 （2）软件库的优化 (3) 定制系统的配置 （4）资源及金钱的消耗 通信主要用 infiniband, 计算能力的目标：达到 1EFlop(10^18)/s 即 exascale computing。 CPU的限制：卡之间的交流及数据的划分也会有性能延时。 GPU架构如下（向量做计算） 每个processor独有内存，不同processor之间的内存只有通过global memory 进行shared。但二者之间不同内存速度差距很大。 CPU架构如下（element做计算） TPU(矩阵做计算) 并行计算的网络技术：并行计算性能大部分卡在网络沟通的部分。同时，同步十分棘手。 网络拓扑： 需要进行考虑的因素：规模，性能，弹性，花费 物理底层：网络设备（Cable,Switch,Adapter）带宽：每秒传输的比特。Latency:打包，解包，发送消息所需的时间。Scalability:adapter及switch的接口。 软体网络拓扑：Network diameter，节点最远传输距离（最糟情况），砍掉某个节点后系统的稳定性。每个节点的fan-in 及fan-out。 应用：MPI

（1）问：什么是并行计算？ 答：用 很多 处理器（如 core）一起工作 来 解决同一个问题。 传统方法： 一个问题 -> 单个指令 -> 处理器 并行计算： 一个问题-> 多个指令 -> 分别对应的多处理器（更多的计算资源处理相同的计算量） （2）问：并行计算与分布式计算的区别？ 答：二者十分相似但是背景不同。 并行计算 强调的是针对 一个问题/计算 用 多个计算核 来提高程序的 效率（重要）， 区域跨度较小， 计算机很集中。 分散式计算 不同的使用者，强调的是 资源共享/交流， 区域跨度很大，如云计算的兴起。 通过internet进行资源的计算。 （3）问：并行计算产生的原因： 答：（1）节省时间 ：以牺牲点内存获得更短的执行效率，在有限时间处理 更多的任务。 （2）可以处理 更大规模 的问题。 （3）在并行设备上得到更好的性能。 FLOPS: 每秒做的浮点数的计算，用于描述性能。 并行计算是序列计算的革命，并行计算 一般在 bottleneck处做优化， 不是实时做并行。 （4）并行计算的趋势？ 答：1.单核时代：受摩尔定律，电压大小 驱动，受 能源以及复杂度 限制，常用语言 C/C++ -> java 2.多核时代：受摩尔定律，SMP 驱动，受 能源，并行软件，尺寸限制， 主要是并行计算，工具： Pthread->OpenMP 3.分布式系统时代：网络的兴起 驱动，受同步

AES 算法简介 高级加密标准（英语：Advanced Encryption Standard，缩写：AES），在密码学中又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准，用来替换原先的 DES. 背景介绍：1997年1月2号，美国国家标准技术研究所（National Institute of Standards and Technology: NIST）宣布希望征集高级加密标准（Advanced Encryption Standard: AES），用以取代DES。AES得到了全世界很多密码工作者的响应，先后有很多人提交了自己设计的算法。最终有5个候选算法进入最后一轮： Rijndael ， Serpent ， Twofish ， RC6 和MARS。最终经过安全性分析、软硬件性能评估等严格的步骤，Rijndael算法获胜。 AES 算法的区块长度固定为128位（16 字节），密钥长度则可为128位，192位，256位。加密模式可采用 ECB，CBC，CTR，OFB，CFB 等模式进行加密。 其中 ECB 与 CBC 模式是对数据原文做加密处理，原文长度的必须为 16 或 16 的倍数方可加密成功，不足16倍数的部分则需进行 Padding 处理（Padding 方式为 PKCS5 Padding 或 PKCS7 Padding）。 CTR，OFB，CFB

https://blog.csdn.net/yufeilongyuan/article/details/91440535 来源： https://www.cnblogs.com/xin-qing3/p/11785886.html

同步屏障：进程的交汇点 在粗粒度并行模式中，进程之间独立执行大量的计算块，然后他们在同步屏障的地方互相等待，执行发送/接收消息，而后继续他们的程序执行 [外链图片转存失败(img-UWPNM6FE-1569241273113)(assets/1569238560457.png)] 测试运行时间 MPI中使用MPI_Wtime测量时间。 double start , end ; MPI_Init ( & argc , & argv ) ; MPI_Comm_rank ( MPI_COMM_WORLD , & rank ) ; MPI_Barrier ( MPI_COMM_WORLD ) ; start = MPI_Wtime ( ) ; LocalComputation ( ) ; MPI_Barrier ( MPI_COMM_WORLD ) ; end = MPI_Wtime ( ) ; MPI_Finalize ( ) ; if ( rank == 0 ) { cout << end - start << endl ; } 主要使用MPI_Barrier 整体同步并行计算模型 整体同步并行计算模型（Bulk Synchoronous Parallel, BSP）是高级并行编程模型之一，这个抽象是由Leslie.G Valiant 构思的

分布式并行计算MapReduce 一、用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 1.HDFS: Hadoop Distributed File System Hadoop分布式文件系统 1.1功能： 1.兼容廉价的硬件设备。2.流数据的读写。3.大数据集。4.简单的文件模型。5.强大的夸平台兼容性。 1.2工作原理：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本。 1.3工作过程： 2.MapReduce 2.1功能：MapReduce是一种并行可扩展计算模型，并且有较好的容错性，主要解决海量离线数据的批处理。实现下面目标 易于编程、良好的扩展性、高容错性 2.2工作原理：MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡

1 install.packages("parallel") 2 library("parallel") 3 install.packages('doParallel') 4 library("doParallel") 5 6 n_Cores <- detectCores()##检测你的电脑的CPU核数 7 cluster_Set <- makeCluster(n_Cores)##进行集群 8 registerDoParallel(cluster_Set) 参考了https://blog.csdn.net/weixin_36220483/article/details/52639469 完整的R语言预测建模实例-从数据清理到建模预测

并行计算的分析过程 １、将问题分解为多个子问题 ２、为每个进程分配求解任务 ３、将求解的结果汇总计算 并行程序设计与分治法的分析过程类似，如果想了解分治法的设计思路 算法设计与分析之分治法 并行程序相比较与串行程序的优点是：它很好地利用的cpu的资源，使得多个处理器同时解决一个问题。 这里我们计算　f(x) = x^2 + 2*x + 1;函数在　[0,3]　上的面积 代码中MPI的安装使用可以在网上找一些资料进行了解。 MPI 与普通的ｃ程序在编译与执行命令上有写不同 mpicc -o test test.c 编译命令 mpirun -np 4 ./test 执行命令（用四个进程并行执行该程序） # include <stdio.h> # include "mpi.h" # include <unistd.h> //二次函数 double Fun ( double x ) { return x * x + 2 * x + 1 ; } //单个进程之间的面积求解 //n 表示累加的次数,m　表示相邻元素间的跨度 double Area ( int n , double m , double start ) { double title_d = 0 ; int i = 0 ; for ( ; i < n ; i ++ ) { double tmp = Fun ( start ) ;