flower

基于Celery的并行处理工程-OpenWorker

空扰寡人 提交于 2019-11-29 23:49:21
OpenWorker-初始建立 (2015-05-29),欢迎参与: https://github.com/supergis/OpenWorker 。 OpenWorker-基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。 Celery是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。OpenWorker将这几个工程放到一起,并增加了统一的安装脚本,让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用,而不是替代原来的工程。由于这几个项目还在快速发展,因此也编写合并和更新的脚本,实现与原作者的代码库保持一致。 1、并行处理框架: Celery: http://www.celeryproject.org/ 执行任务的分发和调度,使用消息总线进行通讯。 关于Celery的入门教程及参考: http://my.oschina.net/u/2306127/blog?catalog=2527511 2、Web管理控制台: Flower: https://github.com/mher/flower 在远程通过Web界面监视和管理任务执行情况。 3、任务进度通知: Jobtastic: http:/

基于Celery的并行处理工程-OpenWorker快速安装

纵饮孤独 提交于 2019-11-29 23:49:08
Celery 是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。 OpenWorker是基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。 OpenWorker将这几个工程放到一起, 并增加了统一的安装脚本,让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用,而不是替代原来的工程。由于这几个项目还在快速发展,因此也编写合并和更新的脚本,实现与原作者的代码库保持一致。 1、并行处理框架:Celery, http://www.celeryproject.org/ 执行任务的分发和调度,使用消息总线进行通讯。 关于Celery的入门教程及参考: http://my.oschina.net/u/2306127/blog/420833 2、Web管理控制台:Flower, https://github.com/mher/flower 在远程通过Web界面监视和管理任务执行情况。 3、任务进度通知:Jobtastic, http://policystat.github.io/jobtastic/ 为长时间运行的任务提供进度通知的Celery扩展库。 4、Web上Python控制台: Rodeo: https:/

Celery Flower Security in Production

≯℡__Kan透↙ 提交于 2019-11-29 20:26:39
I am looking to use Flower ( https://github.com/mher/flower ) to monitor my Celery tasks in place of the django-admin as reccomended in their docs ( http://docs.celeryproject.org/en/latest/userguide/monitoring.html#flower-real-time-celery-web-monitor ). However, because I am new to this I am a little confused about the way Flower's page is only based on HTTP, and not HTTPS. How can I enable security for my Celery tasks such that any old user can't just visit the no-login-needed website http://flowerserver.com:5555 and change something? I have considered Celery's own documentation on this, but

Celery Flower Security in Production

帅比萌擦擦* 提交于 2019-11-28 16:29:00
问题 I am looking to use Flower (https://github.com/mher/flower) to monitor my Celery tasks in place of the django-admin as reccomended in their docs (http://docs.celeryproject.org/en/latest/userguide/monitoring.html#flower-real-time-celery-web-monitor). However, because I am new to this I am a little confused about the way Flower's page is only based on HTTP, and not HTTPS. How can I enable security for my Celery tasks such that any old user can't just visit the no-login-needed website http:/