python做并行计算可以吗?

眉间皱痕 提交于 2019-12-13 00:26:55

在这里插入图片描述

python可以做并行计算,下面是相关介绍:

一、概览

Parallel Python是一个python模块,提供在SMP(具有多个处理器或多核的系统)和集群(通过网络连接的计算机)上并行执行python代码的机制。它轻巧,易于安装和与其他python软件集成。Parallel Python是一个用纯Python编写的开源和跨平台模块。

二、特性

在SMP和集群上并行执行python代码

易于理解和实现基于Job的并行化技术(易于并行转换串行应用程序)

自动检测最佳配置(默认情况下工作进程数设置为有效处理器数)

动态处理器分配(工作进程数可以在运行时更改)

具有相同功能的后续作业的低开销(实现透明高速缓存以减少开销)

动态负载平衡(作业在运行时在处理器之间分布)

容错(如果其中一个节点发生故障,任务在其他节点上重新调度)

计算资源的自动发现

计算资源的动态分配(自动发现和容错的结果)

网络连接的基于SHA的认证

跨平台可移植性和互操作性(Windows,Linux,Unix,Mac OS X)

跨架构可移植性和互操作性(x86,x86-64等)

开源

相关推荐:《Python基础视频教程

三、动机

现在,用python编写的软件应用在很多应用程序中,包括业务逻辑,数据分析和科学计算。这与市场上的SMP计算机(多处理器或多核)和集群(计算机通过网络连接)的广泛可用性一起创建了并行执行python代码的需求。

为SMP计算机编写并行应用程序的最简单和常见的方法是使用线程。虽然,如果应用程序是计算绑定使用线程或线程python模块将不允许并行运行python字节码。原因是python解释器使用GIL(全局解释器锁)进行内部记账。这个锁允许一次只执行一个python字节码指令,即使在SMP计算机上。

PP模块克服了这个限制,并提供了一种写并行python应用程序的简单方法。内部ppsmp使用进程和IPC(进程间通信)来组织并行计算。后者的所有细节和复杂性完全被照顾,应用程序只提交作业并检索其结果(写并行应用程序的最简单的方法)。

为了使事情更好,用PP编写的软件并行工作,即使在通过本地网络或Internet连接的许多计算机上。跨平台可移植性和动态负载平衡允许PP即使在异构和多平台集群上也能有效地并行计算。

四、安装

任何平台:下载模块存档并将其解压缩到本地目录。 运行安装脚本:python setup.py install

Windows:下载并执行Windows安装程序二进制文件。

五、例子
在这里插入图片描述

相关免费资料分享(点击即可免费观看~)

一小时快速上手python数据库编程

Python人工智能 - 一堂课认识机器学习

60分钟从认知到实践python爬虫

142244252 学习资料交流群,想要和志同道合的朋友一起学习,大家互相分享自己的学习资料和作品,欢迎感兴趣的朋友共同学习,共同进步,每天还会有免费的公开课程!

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!