supervisord

supervisor celery 配置

我与影子孤独终老i 提交于 2020-02-26 05:11:12
django app 部署中celery 托管 celery supervisor supervisor conf django_app_celery.conf 可以根据芹菜文档修改work 启动命令 [program:appname_celery] command=/appname/env/bin/celery -A sanqing worker -l debug user=root directory = /appname/ ; 程序的启动目录 autostart = true ; 在 supervisord 启动的时候也自动启动 startsecs = 5 ; 启动 5 秒后没有异常退出,就当作已经正常启动了 autorestart = true ; 程序异常退出后自动重启 startretries = 3 ; 启动失败自动重试次数,默认是 3 redirect_stderr = true ; 把 stderr 重定向到 stdout,默认 false ;stdout_logfile_maxbytes = 20MB ; stdout 日志文件大小,默认 50MB stdout_logfile_backups = 20 ; stdout 日志文件备份数 ; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord

Supervisor

醉酒当歌 提交于 2020-02-24 13:52:07
Supervisor是Linux下用python写的一个进程监控程序,它的出现是为了满足以下需求,假设我有一个进程需要每时每刻的跑,但是这个进程又可能由于各种原因有可能中断,当进程中断的时候我希望能够自动重新启动它,此时,就是这个工具的用武之地. 安装: 需要基于Python环境,安装前可能需要安装以下两个包 sudo apt-get install -y python-dev sudo apt-get install -y libevent-dev 安装完成后使用 sudo pip install supervisor 配置: 首先在etc下新建一个supervisord.conf文件, touch supervisord.conf 需要修改权限,最简单的是chmod 777 chmod 777 supervisord.conf 然后生成配置文件 echo_supervisord_conf > /etc/supervisord.conf supervisord -c /etc/supervisord.conf 测试: 先写个简单脚本 #! /usr/local/bin/python 2 import time 3 4 time.sleep(120) 5 print 'hello' 赋予执行权限 chmod a+x hello.py 修改配置文件 vim /etc/

Redash 安装部署

只谈情不闲聊 提交于 2020-02-23 19:12:06
介绍 是一款开源的BI工具,提供了基于web的数据库查询和数据可视化功能。 官网: https://redash.io/ GitHub: https://github.com/getredash/redash 环境选择 官方支持的环境有 Ubuntu 16.04, AWS, Google Compute Cloud 和 Docker。 https://redash.io/help-onpremise/setup/setting-up-redash-instance.html Ubuntu部署 wget https://raw.githubusercontent.com/getredash/redash/master/setup/ubuntu/bootstrap.sh sudo chmod +x bootstrap.sh sudo ./bootstrap.sh 执行完成后,访问http://ip:80 Centos部署 依赖:Python (2.7), PostgreSQL (9.3 or newer), Redis (2.8.3 or newer) and Node.js (v6 or newer) 参考: https://redash.io/help-onpremise/dev/setup.html 系统环境:CentOS Linux release 7.4.1708 (Core

[补充] 云服务器下docker部署scrapyd 添加日志解析和supervisor

青春壹個敷衍的年華 提交于 2020-02-22 15:04:53
之前的一篇帖子里曾经在Ubuntu云服务器上部署了Scrapyd容器,帖子如下: 云服务器下docker部署scrapyd 目前需要对scrapyd添加了日志解析,该库的名称为 logparser ,它被用作在scrapyweb中解析scrapyd的日志。这里不介绍scrapyweb,感兴趣的可以去github上了解。 logparser库的工作原理是每隔一段时间(默认10s)查看一下日志文件夹,然后解析,并生成stats.json文件。scrapyd在开启了端口后可以访问scrapyd的目录,因此可以在不修改scrapyd的情况下对日志解析,举个例子,下面是我的scrapyd的工作目录: 目前我们只关注logs文件夹,如果此时的scrapyd服务器可以被访问的话,那么输入ip:port/logs则显示: stats.json的内容如下: { "status": "ok", "datas": {}, "settings_py": "/usr/local/lib/python3.7/site-packages/logparser/settings.py", "settings": { "scrapyd_server": "127.0.0.1:6800", "scrapyd_logs_dir": "/opt/logs", "parse_round_interval": 10,

supervisord nginx relevent about py

£可爱£侵袭症+ 提交于 2020-02-21 11:39:18
http://supervisord.org/api.html xmprpc inovke api document byteflow/django supervisord nginx = WIN http://just-another.net/byteflowdjango-supervisord-nginx-win urllib2 - The Missing Manual HOWTO Fetch Internet Resources with Python http://www.voidspace.org.uk/python/articles/urllib2.shtml#handling-exceptions <---很牛的py站 # 1 11-10-2009, 03:40 PM njmattes I Got Nodes Join Date: Aug 2009 Posts: 45 How-To: Spawn PHP with supervisord (for NGINX on Debian) Just to muddy the waters for people trying to decide between spawn-cgi and php-fpm, there's a third way to spawn php-cgi for NGINX. It's a process

Linux部署.NetCore站点 使用Supervisor进行托管部署

六眼飞鱼酱① 提交于 2020-02-08 01:18:44
前言 之前终于在Linux上部署好了.NetCore站点,但是这个站点非常“脆弱”。当我的ssh连接关闭或者我想在当前连接执行其他命令时候就必须关闭dotnet站点的执行程序。这显然不是我想要达到的效果,还好知道有所谓的守护进程这个东西,大多数人都是推荐采取Supervisor来进行Linux上的应用进程管理,这里就开始使用它来对我们的.NetCore应用进程进行托管吧。 Linux的守护进程 我对于Linux的守护进程的理解是在Linux操作系统上通过守护进程的配置对需要进行守护的应用进行有效管理,如开机自启动、进程崩溃后自动重启等等。总之把它当成一个应用管家,在这个管家里我们要做好配置,以及可以手动对进程进行启动、停止等等操作。 这里假设已经将.NetCore应用部署到了Linux,存放的目录为 /root/netcore 应用名称为LinuxWebAppSample1 在站点存放的目录输入pwd可以获取到当前目录: 至于安装sdk、运行时什么的就不说了,部署站点那篇博客已经将详细的顺序和命令都写出来。现在就是万事俱备,只差我们的守护进程管理软件 Supervisor 安装Supervisor 输入下面命令安装Supervisor yum install supervisor 输入下面命令查看是否安装成功 supervisord --version

supervisor安装的实例

走远了吗. 提交于 2020-02-06 22:58:39
在centos7上安装supervisor,直接用yum进行安装,若是不是的话,或者是其他,请准备好python2.4以上的版本环境   1. 在centos7系统上进行安装            2. 开启supervisor,设置supervisor的自动启动,查看supervisor                   [root@ localhost ~]# systemctl start supervisord         [root@ localhost ~]# systemctl enable supervisord         [root@ localhost ~]# systemctl status supervisord   3. 修改配置文件 /etc/supervisord.conf,进入配置文件,把所标注处,给去了注释                      [inet_http_server] ; inet (TCP) server disabled by default   http服务器,提供web管理界面        port=0.0.0.0:9001 ; (ip_address:port specifier, *:port for all iface)  web管理后台运行的IP和端口,如果开放到公网,需要注意安全性      

使用supervisor后台运行celery

◇◆丶佛笑我妖孽 提交于 2020-02-06 16:12:07
一、先安装supervisor 1、安装命令: $ pip install supervisor 如果在沙盒环境下安装不上的话使用: $ apt-get install supervisor 二、安装celery $ pip install celery 三、对supervisor进行配置 1、生成默认配置文件 $ echo_supervisord_conf > /etc/supervisord.conf 在这里你也可以自定义默认配置文件生成的位置,前提是/etc目录下先去创建你的要放置配置文件的目录 假如我们创建了一个叫做supervisor的文件夹 然后将默认配置文件放到这个文件夹里面 $ echo_supervisord_conf > /etc/supervisor/supervisord.conf 2、修改配置文件 $ vim /etc/supercisor/supervisord.conf 在最后一行添加 files = /etc/supervisor/supervisord.conf.d/*.conf [include] ;files = /etc/supervisor/conf.d/*.conf files = /etc/supervisor/supervisord.conf.d/*.conf 然后进入supervisord.conf.d文件夹,创建celeryd

linux 进程守护工具 supervisor 使用概述

痞子三分冷 提交于 2020-02-04 06:36:00
前言 以前跑代码,为了不被杀掉经常用 nohup + &,后来发现,系统认为该死的程序都得死,这就很郁闷,市面上有很多进程守护的工具,只是写的语言不同而已(例如pm2,用node语言写的),supervisor用python写的,以前支持py2,现在py3也支持,所以不用担心版本问题。我这里把一些常规的使用介绍一下,顺便说一下有任何问题查阅官网: supervisor官网 一. 安装 安装方式多种多样, 离线安装:(公司内网不和外网连通)需要提前下好安装包,用make和make install 编译安装,稍微复杂点,这里不多说,有需要就自己研究一下。 在线安装:因为supervisor是python写的,所以可以直接 pip install supervisor 进行安装;或者 yum install supervisor 进行安装;首推pip方式。 二.配置 supervisor的所有启动设置都只在一个配置文件中进行,这个配置文件是唯一且最重要的。 生成配置文件:运行 echo_supervisord_conf 命令重定向到一个文件 echo_supervisord_conf > /home/flask_pro/supervisor_config/supervisord.conf /home/flask_pro/ 这个目录是我自己建的一个flask项目的目录,

supervisor配置监管redis

时光怂恿深爱的人放手 提交于 2020-02-01 00:12:23
离线安装 所需包有 python-meld3-0.6.10-1.el7.x86_64.rpm supervisor-3.3.1.tar.gz setuptools-36.6.0.zip 安装setuptools-36.6.0.zip 解压进入目录,执行python setup.py build && python setup.py build 安装meld3 rpm -ivh python-meld3-0.6.10-1.el7.x86_64.rpm 安装supervisor 解压进入目录,执行python setup.py install 校验 执行echo_supervisord_conf看是否输入正确的配置信息 配置 1、创建配置文件路径:mkdir -p /etc/supervisor/ 2、生成配置文件echo_supervisord_conf > /etc/supervisor/supervisord.conf 3、修改supervisor.conf配置文件中的include模块,包含所有服务的配置 mkdir -p /etc/supervisor/conf.d vi /etc/supervisor/supervisord.conf/etc/supervisor/supervisord.conf [include] files = ./conf.d/*.ini 4、在