并行计算

1 ，并行计算简介 并行计算的定义： 并行计算是指同时对多个任务或多条指令、或对多个数据项进行处理。完成此项处理的计算机系统称为并行计算机系统，它是将多个处理器 （可以几个、几十个、几千个、几万个等）通过网络连接以一定的方式有序地组织起来（一定的连接方式涉及网络的互联拓扑、通信协议等，而有序的组织则涉及操作系统、中间件软件等） 。并行计算的主要目的：一是为了提供比传统计算机快的计算速度；二是解决传统计算机无法解决的问题。 同义词： 高性能计算 、 超级计算 等 并行计算的研究内容 主要包括并行计算机的设计，有效算法的设计，评价并行算法的方法，并行计算机语言，并行编程环境与工具，并行程序的可移植性及并行计算机的自动编程。本教程为并行计算入门实践教程，主要为并行算法的设计及并行编程环境与工具的实践。其余内容课参考相关文献。 2 ． 1 并行计算平台 2 ． 1 ． 1 并行计算机的控制结构 对并行计算机的分类有多种方法，其中最著名的是 1966 年由 M.J.Flynn 提出的分类法，称为 Flynn 分类法。 Flynn 分类法是从计算机的运行机制进行分类的。首先作如下定义： 指令流（ instruction stream ）：机器执行的指令序列； 数据流（ data stream ）：由指令流调用的数据序列，包括输入数据和中间结果。 Flynn 根据指令流和数据流的不同组织方式

关于圆周率大家再熟悉不过了： 我们从课本上学习到早在一千多年前，祖冲之将圆周率计算到3.1415926到3.1415927之间…计算机诞生后，计算圆周率被用来检测计算机的硬件性能，昼夜燃烧cpu看会不会出问题…另外一些人也想看看这个无限延伸的神秘数字背后是否有规律，能发现一些宇宙的秘密… 提起圆周率，不能不提及Fabrice Bellard，他被认为是一位计算机天才，在业界有着重要的影响。1996年他编写了一个简洁但是完整的C编译器和一个Java虚拟机Harissa。Fabrice Bellard发明的TinyCC是GNU/Linux环境下最小的ANSI C语言编译器，是目前号称编译速度最快的C编译器。Fabrice Bellard杰作众多且涉及广泛，1998年编写了一个简洁的OpenGL实现TinyGL，2003年开发了Emacs克隆QEmacs，2005年还设计了一个廉价的数字电视系统。 Fabrice Bellard使用一台普通的台式电脑，完成了冲击由超级计算机保持的圆周率运算记录的壮举，他使用台式机将圆周率计算到了小数点后2.7万亿位，超过了由目前排名世界第47位的T2K Open超级计算机于去年8月份创造的小数点后2.5万亿位的记录。 Bellard使用的电脑是一台基于2.93GHz Core i7处理器的电脑，这部电脑的内存容量是6GB，硬盘则使用的是五块RAID

Concurrent公司的iHawk并行计算机仿真系统是具有高实时特性的实时仿真系统，该仿真系统包含对称多处理器计算机平台、实时操作系统、实时开发工具以及应用软件。系统以MATLAB®/Simulink®软件作为前端建模工具，并可兼容C/C++、Ada和Fortran等手工编程建模方式，应用领域覆盖系统架构设计、功能设计、快速原型、半实物仿真测试等阶段。并行计算机仿真系统可以应用到工业、交通、汽车等实时仿真及测试领域。 产品介绍 并行计算机公司的实时仿真系统包括：实时多处理器平台—高性能货架式实时计算机以及多种接口类型的I/O板卡；RedHawk实时Linux操作系统—高实时确定性；Simulation WorkBench仿真工作平台—图形化的多语言模型混合仿真；NightStar实时Linux调试分析工具—保证应用程序实时确定性前提下的在线分析调试。 • 实时多处理器平台 iHawk计算机的实时多处理器平台是Concurrent公司的高性能实时多处理器平台，用于时间关键型仿真、数据采集、系统测试和工业系统的应用。 ♦ 支持多个32/64位多核Intel或AMD处理器 ♦ 外部I/O总线 ♦ 微秒级的高精度定时同步时钟板卡(RCIM) ♦ 提供8个微秒级高精度低温漂时钟 ♦ 分布式实时仿真环境 ♦ GPS时钟对准的同步选项机制 iHawk支持大量I/O及通讯板卡：RS232/422

Concurrent公司的iHawk并行计算机仿真系统是具有高实时特性的实时仿真系统，该仿真系统包含对称多处理器计算机平台、实时操作系统、实时开发工具以及应用软件。系统以MATLAB®/Simulink®软件作为前端建模工具，并可兼容C/C++、Ada和Fortran等手工编程建模方式，应用领域覆盖系统架构设计、功能设计、快速原型、半实物仿真测试等阶段。并行计算机仿真系统可以应用到工业、交通、汽车等实时仿真及测试领域。 产品介绍 并行计算机公司的实时仿真系统包括：实时多处理器平台—高性能货架式实时计算机以及多种接口类型的I/O板卡；RedHawk实时Linux操作系统—高实时确定性；Simulation WorkBench仿真工作平台—图形化的多语言模型混合仿真；NightStar实时Linux调试分析工具—保证应用程序实时确定性前提下的在线分析调试。 • 实时多处理器平台 iHawk计算机的实时多处理器平台是Concurrent公司的高性能实时多处理器平台，用于时间关键型仿真、数据采集、系统测试和工业系统的应用。 ♦ 支持多个32/64位多核Intel或AMD处理器 ♦ 外部I/O总线 ♦ 微秒级的高精度定时同步时钟板卡(RCIM) ♦ 提供8个微秒级高精度低温漂时钟 ♦ 分布式实时仿真环境 ♦ GPS时钟对准的同步选项机制 iHawk支持大量I/O及通讯板卡：RS232/422

现在多数设备、计算机都有多个CPU单元，即使是手机也是多核的。但要在开发中使用多核的优势，却需要一些技巧，花费时间编写额外的代码。好了，现在可以使用Delphi做并行编程了。 在Delphi、C++ Builder和RAD Studio XE7中，有一个简化并行运行任务的库，叫做并行编程库。 并行编程库在System.Threading单元中，其中提供了很多有用的特性，可方便的应用在已有项目和新项目中。提供了大量便利的重载函数，可同时支持C++和Object Pascal。 这些特性包括易用的针对循环的并行运算，以及对运行任务、join任务（等待其他线程完成）、等待一组任务等操作提供支持的大量高级特性。支持这些功能的是一个自我管理的线程池（基于CPU数量）。 为了演示使用并行库的简易程度，有人编写一个计算质数的范例。 function IsPrime (N: Integer): Boolean; var Test: Integer; begin Result := True; for Test := 2 to N - 1 do if (N mod Test) = 0 then begin Result := False; break; {jump out of the for loop} end; end; //获取从1到X的质数个数的典型算法是顺序的循环检查其中的每个数

B站,OpenMP介绍 B站-Introduction to OpenMP OpenMP 1、OpenMp是并已被广泛接受的，用于共享内存并行系统的多处理器程序设计的一套指导性的编译处理方案。 2、OpenMP支持的编程语言包括C语言、C++和Fortran； 3、OpenMp提供了对并行算法的高层的抽象描述，程序员通过在源代码中加入专用的pragma来指明自己的意图，由此编译器可以自动将程序进行并行化，并在必要之处加入同步互斥以及通信。当选择忽略这些pragma，或者编译器不支持OpenMp时，程序又可退化为通常的程序(一般为串行)，代码仍然可以正常运作，只是不能利用多线程来加速程序执行。 参见 OpenMP使用 这是一篇比较好的OpenMP简介 添加链接描述 为什么需要编写并行程序？ 通常我们传统单核处理器上编写的程序无法利用多核处理器，我们需要使得程序充分利用处理器更快的运行程序，更加及时与逼真的模拟现实世界。为了达到这一目的，就需要软件开发工程师将串行程序改写为并行程序。 怎么样编写并行程序？ 广泛采用的两种方式：任务并行和数据并行。 任务并行：是指将有待解决的问题需要执行的任务分配到各个核上完成。 数据并行：是指将有待解决的问题所需要处理的数据分配到各个核上完成，每个核在所分配的大致相当的数据集上执行相同操作。 这里我们举个例子来说明什么是任务并行，什么是数据并行

一般的加密通常都是块加密，如果要加密超过块大小的数据，就需要涉及填充和链加密模式，文中提到的ECB和CBC等就是指链加密模式。这篇文档比较形象地介绍了AES加密算法中的一些模式转载过来。注意，还缺一种CTR的模式。 同时在文章的最后，贴出几对利用ECB and CBC模式得标准算法得到的码流串。 对称加密和分组加密中的四种模式(ECB、CBC、CFB、OFB) 一 . AES 对称加密 : AES加密 分组 二 . 分组密码的填充 分组密码的填充 e.g.: PKCS#5填充方式 三 . 流密码 : 四 . 分组密码加密中的四种模式 : 3.1 ECB 模式 优点: 1.简单； 2.有利于并行计算； 3.误差不会被传送； 缺点: 1.不能隐藏明文的模式； 2.可能对明文进行主动攻击； 3.2 CBC 模式： 优点： 1.不容易主动攻击,安全性好于ECB,适合传输长度长的报文,是SSL、IPSec的标准。 缺点： 1.不利于并行计算； 2.误差传递； 3.需要初始化向量IV 3.3 CFB 模式： 优点： 1.隐藏了明文模式; 2.分组密码转化为流模式; 3.可以及时加密传送小于分组的数据; 缺点: 1.不利于并行计算; 2.误差传送：一个明文单元损坏影响多个单元; 3.唯一的IV; 3.4 OFB 模式： 优点: 1.隐藏了明文模式; 2.分组密码转化为流模式; 3

** 带你一文了解什么是云计算 ** 随着信息技术的发展 ，云计算对于我们来说已经不是陌生的名词，不知不觉中，我们已经在云学习工作和生活，慢慢的越来越离不开云计算，云计算正引领网络的新浪潮。 美国国家标准与技术研究院（NIST）给出的定义云计算是一种无处不在、便捷且按需对一个共享的可配置计算资源（包括网络、服务器、存储、应用和服务）进行网络访问的模式，它能够通过最少量的管理以及与服务提供商的互动实现计算资源的迅速供给和释放。2012年的国务院政府工作报告将云计算作为国家战略性新兴产业给出了定义：云计算是基于互联网的服务的增加，使用和交付模式，通常涉及通过互联网来提供动态、易扩展且经常是虚拟化的资源。云计算是传统计算机和网络技术发展融合的产物，它意味着计算能力也可作为一种商品通过互联网进行流通。 云计算是分布计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、等传统计算机技术和网络技术相融合的产物。当今很多IT知名企业如谷歌（Google）、亚马逊（amazon）、IBM，都为云计算技术和云计算产品发展做出了贡献。 ***看了***上面的定义相信你还是会问那到底什么是云计算呢？想要了解云计算必须先从云计算产生的背景一步步来。我们当下互联网快速发展的生活中每天产生的数据量高速增长，而导致互联网数据处理能力不足。并且在互联网上存在着大量处于闲置状态的计算机设备和存储资源

请你讲讲数组(Array)和列表(ArrayList)的区别？什么时候应该使用Array而不是ArrayList？ 考察点：Array 参考回答： Array和ArrayList的不同点： Array可以包含基本类型和对象类型，ArrayList只能包含对象类型。 Array大小是固定的，ArrayList的大小是动态变化的。 ArrayList提供了更多的方法和特性，比如：addAll()，removeAll()，iterator()等等。 对于基本类型数据，集合使用自动装箱来减少编码工作量。但是，当处理固定大小的基本数据类型的时候，这种方式相对比较慢。 ● 请你解释什么是值传递和引用传递？ 考察点：JAVA引用传递 参考回答： 值传递是对基本型变量而言的,传递的是该变量的一个副本,改变副本不影响原变量. 引用传递一般是对于对象型变量而言的,传递的是该对象地址的一个副本, 并不是原对象本身 。 所以对引用对象进行操作会同时改变原对象. 一般认为,java内的传递都是值传递. ● 请你讲讲Java支持的数据类型有哪些？什么是自动拆装箱？ 考察点：JAVA数据类型 参考回答： Java语言支持的8种基本数据类型是： byte short int long float double boolean char 自动装箱是Java编译器在基本数据类型和对应的对象包装类型之间做的一个转化

弗分类法 根据弗分类法，计算机结构主要分为 SIMD----单指令、多数据 MIMD---多指令、多数据 SISD----单指令、单数据 MISD---多指令、单数据 一般的串行程序中为SISD，即在单核CPU下任何时间和地点只有一个指令处理一个数据，其所谓的多线程实际上是采用时分方法，以使人感觉是在同时运行 而现在大多数多核计算机一般为MIMD，操作系统复杂多线程或进程的调度，将线程或进程分布在不同的CPU上，每个线程都具有独立的指令和数据 SIMD是对SISD提出的一个改进，虽然只有一个指令但是能够一次性处理多个数据，典型代表Arm的Neon指令集，X86 SSE指令集，在硬件能够批量处理数据 MISD比较少见，与MIMD相比，性价比并不高、 与上述应对的，英伟达在GPU的实现被称为SIMT(single Instruction Mutiple Thread)单指令多线程，与CPU相比每个线程的指令（相当于kernel)不是固定的，是由开发人员编写kernel制定时间工程内容。 并行计算 并行计算是相对与串行程序来讲，能够同时处理多个任务，提高计算效率，比如： 设 有数组A 和 数组 B，数组中A的每个元素乘以数组B的每个元素，串行程序的编写思路： for (int index = 0; index < ArraySize; index++) { Result[inxex] =