基于Celery的并行处理工程-OpenWorker

空扰寡人 提交于 2019-11-29 23:49:21

OpenWorker-初始建立(2015-05-29),欢迎参与:https://github.com/supergis/OpenWorker
OpenWorker-基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。

Celery是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。OpenWorker将这几个工程放到一起,并增加了统一的安装脚本,让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用,而不是替代原来的工程。由于这几个项目还在快速发展,因此也编写合并和更新的脚本,实现与原作者的代码库保持一致。

1、并行处理框架:
Celery:http://www.celeryproject.org/
执行任务的分发和调度,使用消息总线进行通讯。
关于Celery的入门教程及参考:http://my.oschina.net/u/2306127/blog?catalog=2527511

2、Web管理控制台:
Flower:https://github.com/mher/flower
在远程通过Web界面监视和管理任务执行情况。

3、任务进度通知:
Jobtastic:http://policystat.github.io/jobtastic/
为长时间运行的任务提供进度通知的Celery扩展库。

4、Web上Python控制台:
Rodeo:https://github.com/yhat/rodeo
可以在Web浏览器编写和执行Python代码,支持交互控制台,非常适合于探索式编程和数据研究。




易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!