openworker

OpenWorker－初始建立 （2015-05-29），欢迎参与： https://github.com/supergis/OpenWorker 。 OpenWorker－基于Python的并行处理框架，将集成Celery、Flower、Jobtastic和Rodeo工程，可以通过控制台或Web进行管理、提交任务等。 Celery是一个简单灵活的Python并行处理框架，但是相关的几个工程需要独自安装和配置，给小白的使用带来困难。OpenWorker将这几个工程放到一起，并增加了统一的安装脚本，让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用，而不是替代原来的工程。由于这几个项目还在快速发展，因此也编写合并和更新的脚本，实现与原作者的代码库保持一致。 1、并行处理框架： Celery: http://www.celeryproject.org/ 执行任务的分发和调度，使用消息总线进行通讯。 关于Celery的入门教程及参考： http://my.oschina.net/u/2306127/blog?catalog=2527511 2、Web管理控制台： Flower: https://github.com/mher/flower 在远程通过Web界面监视和管理任务执行情况。 3、任务进度通知： Jobtastic: http:/

Celery 是一个简单灵活的Python并行处理框架，但是相关的几个工程需要独自安装和配置，给小白的使用带来困难。 OpenWorker是基于Python的并行处理框架，将集成Celery、Flower、Jobtastic和Rodeo工程，可以通过控制台或Web进行管理、提交任务等。 OpenWorker将这几个工程放到一起， 并增加了统一的安装脚本，让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用，而不是替代原来的工程。由于这几个项目还在快速发展，因此也编写合并和更新的脚本，实现与原作者的代码库保持一致。 1、并行处理框架：Celery， http://www.celeryproject.org/ 执行任务的分发和调度，使用消息总线进行通讯。 关于Celery的入门教程及参考： http://my.oschina.net/u/2306127/blog/420833 2、Web管理控制台：Flower， https://github.com/mher/flower 在远程通过Web界面监视和管理任务执行情况。 3、任务进度通知：Jobtastic， http://policystat.github.io/jobtastic/ 为长时间运行的任务提供进度通知的Celery扩展库。 4、Web上Python控制台： Rodeo: https:/