并行计算、分布式计算、集群计算和云计算
1. 并行计算 (Parallel Computing) 并行计算或称平行计算是相对于串行计算来说的。 并行计算 (Parallel Computing)是指同时使用多种计算资源解决计算问题的过程。为执行并行计算,计算资源应包括一台配有多处理机(并行处理)的计算机、一个与网络相连的计算机专有编号,或者两者结合使用。并行计算的主要目的是快速解决大型且复杂的计算问题。 并行计算可以划分成时间并行和空间并行。 时间并行即流水线技术 , 空间并行使用多个处理器执行并发计算 ,当前研究的主要是空间的并行问题。以程序和算法设计人员的角度看, 并行计算又可分为数据并行和任务并行 。数据并行把大的任务化解成若干个相同的子任务,处理起来比任务并行简单。 空间上的并行导致两类并行机的产生,按照Michael Flynn(费林分类法)的说法分为单指令流多数据流(SIMD)和多指令流多数据流(MIMD),而常用的串行机也称为单指令流单数据流(SISD)。MIMD类的机器又可分为常见的五类:并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处理机(MPP)、工作站机群(COW)、分布式共享存储处理机(DSM)。 2. 分布式计算( Distributed Computing) 分布式计算 这个研究领域,主要研究 分散系统 (Distributed system)如何进行计算