串行计算与并行计算
1.串行计算
串行计算是指在单个计算机（拥有单个中央独立单元） 上执行软件写操作。CPU 逐个使用一系列指令解决问题。
为了加快处理速度，在原有的串行计算的基础上演变出并行计算
2.并行计算
指同时使用多种计算机资源解决计算问题的过程。
为执行并行计算，计算资源应包括一台配有多处理器的计算机、一个与网络相连的计算机专有编号，或者两者结合。
并行计算的主要目的用于解决大型且复杂的计算问题，还可以利用非本地资源，可以使用多台计算机集合在一起共同处理、计算机来取代昂贵的大型计算机或大型服务器
1.串行计算
串行计算是指在单个计算机（拥有单个中央独立单元） 上执行软件写操作。CPU 逐个使用一系列指令解决问题。
为了加快处理速度，在原有的串行计算的基础上演变出并行计算
2.并行计算
指同时使用多种计算机资源解决计算问题的过程。
为执行并行计算，计算资源应包括一台配有多处理器的计算机、一个与网络相连的计算机专有编号，或者两者结合。
并行计算的主要目的用于解决大型且复杂的计算问题，还可以利用非本地资源，可以使用多台计算机集合在一起共同处理、计算机来取代昂贵的大型计算机或大型服务器
二、MPI
并行计算代表：Messages Passing Interface
1.MPI 本身并非一个软件，它仅仅是一个规格很严密的通讯标准。其主要功能是在处理并行运算之间节点的资料交换。或者说MPI 属于并行计算
2.MPI 的主要三个方面
1)MPI 作为一个库存在，而非一种软件或开发语言
2)MPI 是一种规范或标准的代表，所有的并行计算机制造商都可提供对MPI 的支持。
3)MPI 是一种消息传递编程模型，并成为消息传递编程模型的代表
并行计算代表：Messages Passing Interface
1.MPI 本身并非一个软件，它仅仅是一个规格很严密的通讯标准。其主要功能是在处理并行运算之间节点的资料交换。或者说MPI 属于并行计算
2.MPI 的主要三个方面
1)MPI 作为一个库存在，而非一种软件或开发语言
2)MPI 是一种规范或标准的代表，所有的并行计算机制造商都可提供对MPI 的支持。
3)MPI 是一种消息传递编程模型，并成为消息传递编程模型的代表
三、高性能集群
实现高性能集群主要目的是将多台计算机的计算能力合并到一起, 使用并行计算软件(MPICH)实现并行计算从而实现一个超越单台计算机计算能力的强力系统。
实际上MPICH 就是符合MPI 标准通讯协议的一套软件语言的函数库
实现高性能集群主要目的是将多台计算机的计算能力合并到一起, 使用并行计算软件(MPICH)实现并行计算从而实现一个超越单台计算机计算能力的强力系统。
实际上MPICH 就是符合MPI 标准通讯协议的一套软件语言的函数库
四、HPC的实现
1.设定节点名
实验采用在同一个网络段的三台虚拟机，编辑每台主机的/etc/hosts：
192.168.1.1 server
192.168.1.2 node1
192.168.1.3 node2
注：其他两台机器可通过scp传输该文件：scp root@server:/etc/hosts /etc
2.定义MPICH安全通信（通过ssh）
server上配置：
cd ~
ssh-keygen -t rsa （一路回车）
ssh-copy-id node1
ssh-copy-id node2
测试ssh无需口令就可连接成功
1.设定节点名
实验采用在同一个网络段的三台虚拟机，编辑每台主机的/etc/hosts：
192.168.1.1 server
192.168.1.2 node1
192.168.1.3 node2
注：其他两台机器可通过scp传输该文件：scp root@server:/etc/hosts /etc
2.定义MPICH安全通信（通过ssh）
server上配置：
cd ~
ssh-keygen -t rsa （一路回车）
ssh-copy-id node1
ssh-copy-id node2
测试ssh无需口令就可连接成功
安装软件
在每个节点上：
1）使用winscp将mpich-3.1.3.tar.gz上传至三台虚拟机
2）在每台虚拟机上安装编译MPICH所需的工具
yum install gcc gcc-gfortran gcc-c++ -y
3）解压软件包：tar xvfz mpich-3.1.3.tar.gz
编译：cd mpi-3.1.3
在每个节点上：
1）使用winscp将mpich-3.1.3.tar.gz上传至三台虚拟机
2）在每台虚拟机上安装编译MPICH所需的工具
yum install gcc gcc-gfortran gcc-c++ -y
3）解压软件包：tar xvfz mpich-3.1.3.tar.gz
编译：cd mpi-3.1.3
./configure && make && make install
4.在每个节点上创建HPC所需的主机
vim /root/hpcnode
server
node1
node2
注：其他两台机器可通过scp传输该文件：scp root@server:/root/hpcnode /root
5.在server端进行测试MPICH
mpiexec -n 6 -machinefile /root/hpcnode /root/mpich-3.1.3/examples/cpi
注：-n ：处理次数；-machinefile：指定节点文件；结果可见处理进程被平均分配至集群内的每台机器上
4.在每个节点上创建HPC所需的主机
vim /root/hpcnode
server
node1
node2
注：其他两台机器可通过scp传输该文件：scp root@server:/root/hpcnode /root
5.在server端进行测试MPICH
mpiexec -n 6 -machinefile /root/hpcnode /root/mpich-3.1.3/examples/cpi
注：-n ：处理次数；-machinefile：指定节点文件；结果可见处理进程被平均分配至集群内的每台机器上
来源：oschina
链接：https://my.oschina.net/u/4394201/blog/3388973