进程管理与任务计划
系统管理工具
- 进程的分类:
- CPU-Bound:CPU密集型,非交互
- IO-Bound:IO密集型,交互
- Linux系统状态的查看及管理工具:pstree, ps, pidof, pgrep, top, htop,
- glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup
- pstree命令:
- pstree display a tree of processes
- ps: process state
- ps report a snapshot of the current processes
- Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中
查看进程ps
ps [OPTION]...
- 支持三种选项:
- UNIX选项 如-A -e
- BSD选项 如a
- GNU选项 如--help
- 选项:默认显示当前终端中的进程
- a 选项包括所有终端中的进程
- x 选项包括不链接终端的进程
- u 选项显示进程所有者的信息
- f 选项显示进程树,相当于 --forest
- k|--sort 属性 对属性排序,属性前加- 表示倒序
- o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
- L 显示支持的属性列表
- ps常见选项:
- -C cmdlist 指定命令,多个命令用,分隔
- -L 显示线程
- -e 显示所有进程,相当于-A * -f 显示完整格式程序信息
- -F 显示更完整格式的进程信息
- -H 以进程层级格式显示进程相关信息
- -u userlist 指定有效的用户ID或名称
- -U userlist 指定真正的用户ID或名称
- -g gid或groupname 指定有效的gid或组名称
- -G gid或groupname 指定真正的gid或组名称
- -p pid 显示指pid的进程
- --ppid pid 显示属于pid的子进程
- -t ttylist 指定tty,相当于 t
- -M 显示SELinux信息,相当于Z
- ps输出属性:
- VSZ: Virtual memory SiZe,虚拟内存集,线性内存
- RSS: ReSident Size, 常驻内存集
- STAT:进程状态
- R:running
- S: interruptable sleeping
- D: uninterruptable sleeping
- T: stopped
- Z: zombie
- +: 前台进程
- l: 多线程进程
- L:内存分页并带锁
- N:低优先级进程
- <: 高优先级进程
- s: session leader,会话(子进程)发起者
- ps:
- ni: nice值
- pri: priority 优先级
- rtprio: 实时优先级
- psr: processor CPU编号
- 示例:
- ps axo pid,cmd,psr,ni,pri,rtprio
- 常用组合:
- aux
- -ef
- -eFH
- -eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
- axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm
- ps示例:
- 查询你拥有的所有进程
- ps -x
- 显示指定用户名(RUID)或用户ID的进程
- ps -fU apache
- ps -fU 48
- 显示指定用户名(EUID)或用户ID的进程
- ps -fu wang
- ps -fu 1000
- 查看以root用户权限(实际和有效ID)运行的每个进程
- ps -U root -u root
- 列出某个组拥有的所有进程(实际组ID:RGID或名称)
- ps -fG nginx
- 列出有效组名称(或会话)所拥有的所有进程
- ps -fg mysql
- ps -fg 27
- 显示指定的进程ID对应的进程
- ps -fp 1234
- 以父进程ID来显示其下所有的进程,如显示父进程为1234的所有进程
- ps -f --ppid 1234
- 显示指定PID的多个进程
- ps -fp 1204,1239,1263
- 要按tty显示所属进程
- ps -ft pts/0
- 以进程树显示系统中的进程如何相互链接
- ps -e --forest
- 以进程树显示指定的进程
- ps -f --forest -C sshd
- ps -ef --forest | grep -v grep | grep sshd
- 要显示一个进程的所有线程,将显示LWP(轻量级进程)以及NLWP(轻量级进程数)列
- ps -fL -C nginx
- 要列出所有格式说明符
- ps L
- 查看进程的PID,PPID,用户名和命令
- ps -eo pid,ppid,user,cmd
- 自定义格式显示文件系统组,ni值开始时间和进程的时间
- ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime
- 使用其PID查找进程名称:
- ps -p 1244 -o comm=
- 要以其名称选择特定进程,显示其所有子进程
- ps -C sshd,bash
- 查找指定进程名所有的所属PID,在编写需要从std输出或文件读取PID的脚本时这个参数很有用
- ps -C httpd,sshd -o pid=
- 检查一个进程的执行时间
- ps -eo comm,etime,user | grep nginx
- 查找占用最多内存和CPU的进程
- ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
- ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head
- 显示安全信息
- ps -eM
- ps --context
- 使用以下命令以用户定义的格式显示安全信息
- ps -eo euser,ruser,suser,fuser,f,comm,label
- 使用watch实用程序执行重复的输出以实现对就程进行实时的监视,如下面的命令显示每秒钟的监视
- watch -n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head'
- 查询你拥有的所有进程
进程优先级
- 进程优先级调整
- 静态优先级:100-139
- 进程默认启动时的nice值为0,优先级为120
- 只有根用户才能降低nice值(提高优先性)
- nice命令
- nice [OPTION] [COMMAND [ARG]...]
- renice命令
- renice [-n] priority pid...
- 查看
- ps axo pid,comm,ni
系统工具
- /proc/uptime 包括两个值,单位 s
- 系统启动时长,空闲进程的总时长(按总的CPU核数计算)
- uptime 和 w
- 显示当前时间,系统已启动的时间、当前上线人数,系统平均负载(1、5、15分钟的平均负载,一般不会超过1,超过5时建议警报)
- 系统平均负载:
- 指在特定时间间隔内运行队列中的平均进程数
- 通常每个CPU内核的当前活动进程数不大于3,那么系统的性能良好。如果每个CPU内核的任务数大于5,那么此主机的性能有严重问题
- 如果linux主机是1个双核CPU,当Load Average 为6的时候说明机器已经被充分使用
进程管理工具
- top:有许多内置命令
- 帮助:h 或 ? ,按 q 或esc 退出帮助
- 排序:P:以占据的CPU百分比,%CPU
- M:占据内存百分比,%MEM
- T:累积占据CPU时长,TIME+
- 首部信息显示:
- uptime信息:l命令
- tasks及cpu信息:t命令
- cpu分别显示:1 (数字)
- memory信息:m命令
- 退出命令:q
- 修改刷新时间间隔:s
- 终止指定进程:k
- 保存文件:W
top命令
- 栏位信息简介
- us:用户空间
- sy:内核空间
- ni:调整nice时间
- id:空闲
- wa:等待IO时间
- hi:硬中断
- si:软中断(模式切换)
- st:虚拟机偷走的时间
- 选项:
- -d # 指定刷新时间间隔,默认为3秒 -b 全部显示所有进程
- -n # 刷新多少次后退出
- -H 线程模式,示例:top -H -p
pidof mysqld
- htop命令:EPEL源
- 选项:
- -d #: 指定延迟时间;
- -u UserName: 仅显示指定用户的进程
- -s COLUME: 以指定字段进行排序
- 子命令:
- s:跟踪选定进程的系统调用
- l:显示选定进程打开的文件列表
- a:将选定的进程绑定至某指定CPU核心
- t:显示进程树
- 选项:
内存空间
内存空间使用状态:
- free [OPTION] -b 以字节为单位
- -m 以MB为单位
- -g 以GB为单位
- -h 易读格式
- -o 不显示-/+buffers/cache行 -t 显示RAM + swap的总和
- -s n 刷新间隔为n秒 -c n 刷新n次后即退出
系统监控工具
vmstat命令:虚拟内存信息:
- vmstat [options] [delay [count]]
- vmstat 2 5
- procs:
- r:可运行(正运行或等待运行)进程的个数,和核心数有关
- b:处于不可中断睡眠态的进程个数(被阻塞的队列的长度)
- memory:
- swpd: 交换内存的使用总量
- free:空闲物理内存总量
- buffer:用于buffer的内存总量
- cache:用于cache的内存总量
- swap:
- si:从磁盘交换进内存的数据速率(kb/s)
- so:从内存交换至磁盘的数据速率(kb/s)
- io:
- bi:从块设备读入数据到系统的速率(kb/s)
- bo: 保存数据至块设备的速率
- system:
- in: interrupts 中断速率,包括时钟
- cs: context switch 进程切换速率
- cpu:
- us:Time spent running non-kernel code
- sy: Time spent running kernel code
- id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
- wa: Time spent waiting for IO. 2.5.41前,包括in idle.
- st: Time stolen from a virtual machine. 2.6.11前, unknown.
- 选项:
- -s: 显示内存的统计数据
- mpstat:显示CPU相关统计,示例:mpstat 1 5
- iostat:统计CPU和设备IO信息,示例:iostat 1 10
- iftop:显示带宽使用情况,EPEL源, 示例:iftop -n -i eth1
- pmap命令:进程对应的内存映射
- pmap [options] pid [...]
- -x: 显示详细格式的信息
- 示例:pmap 1
- 另外一种实现
- cat /proc/PID/maps
glances命令:EPEL源
- glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [--password] [-t refresh] [-f file] [-o output]
- 内建命令:
- a Sort processes automatically
- l Show/hide logs
- c Sort processes by CPU%
- b Bytes or bits for network I/O
- m Sort processes by MEM%
- w Delete warning logs
- p Sort processes by name
- x Delete warning and critical logs
- i Sort processes by I/O rate
- 1 Global CPU or per-CPU stats
- d Show/hide disk I/O stats
- h Show/hide this help screen
- f Show/hide file system stats
- t View network I/O as combination
- n Show/hide network stats
- u View cumulative network I/O
- s Show/hide sensors stats
- q Quit (Esc and Ctrl-C also work)
- y Show/hide hddtemp stats
- 常用选项:
- -b: 以Byte为单位显示网卡数据速率
- -d: 关闭磁盘I/O模块
- -f /path/to/somefile: 设定输入文件位置
- -o {HTML|CSV}:输出格式
- -m: 禁用mount模块
- -n: 禁用网络模块
- -t #: 延迟时间间隔
- -1:每个CPU的相关数据单独显示
- C/S模式下运行glances命令
- 服务器模式:
- glances -s -B IPADDR
- IPADDR: 指明监听的本机哪个地址
- 客户端模式:
- glances -c IPADDR
- IPADDR:要连入的服务器端地址
- 服务器模式:
dstat 命令:系统资源统计,代替 vmstat,iostat
- dstat [-afv] [options..] [delay [count]]
- -c 显示cpu相关信息
- -C #,#,...,total
- -d 显示disk相关信息
- -D total,sda,sdb,...
- -g 显示page相关统计数据
- -m 显示memory相关统计数据
- -n 显示network相关统计数据
- -p 显示process相关统计数据
- -r 显示io请求相关的统计数据
- -s 显示swapped相关的统计数据
- --tcp
- --udp
- --unix
- --raw
- --socket
- --ipc
- --top-cpu:显示最占用CPU的进程
- --top-io: 显示最占用io的进程
- --top-mem: 显示最占用内存的进程
- --top-latency: 显示延迟最大的进程
iotop:
- iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI,其中包括PID、用户、I/O、进程等相关信息,可查看每个进程是如何使用IO
- iotop输出
- 第一行:Read和Write速率总计
- 第二行:实际的Read和Write速率
- 第三行:参数如下:
- 线程ID(按p切换为进程ID)
- 优先级
- 用户
- 磁盘读速率
- 磁盘写速率
- swap交换百分比
- IO等待所占的百分比
- 线程/进程命令
- 常用参数:
- -o, --only只显示正在产生I/O的进程或线程,除了传参,可以在运行过程中按o生效
- -b, --batch非交互模式,一般用来记录日志
- -n NUM, --iter=NUM设置监测的次数,默认无限。在非交互模式下很有用
- -d SEC, --delay=SEC设置每次监测的间隔,默认1秒,接受非整形数据例如1.1
- -p PID, --pid=PID指定监测的进程/线程
- -u USER, --user=USER指定监测某个用户产生的I/O
- -P, --processes仅显示进程,默认iotop显示所有线程
- -a, --accumulated显示累积的I/O,而不是带宽
- -k, --kilobytes使用kB单位,而不是对人友好的单位。在非交互模式下,脚本编程有用
- -t, --time 加上时间戳,非交互非模式
- -q, --quiet 禁止头几行,非交互模式,有三种指定方式
- -q 只在第一次监测时显示列名
- -qq 永远不显示列名
- -qqq 永远不显示I/O汇总
- 交互按键
- left和right方向键:改变排序
- r:反向排序
- o:切换至选项--only
- p:切换至--processes选项
- a:切换至--accumulated选项
- q:退出
- i:改变线程的优先级
nload查看网络实时吞吐量:
- nload 是一个实时监控网络流量和带宽使用情况,以数值和动态图展示进出的流量情况
- 安装:yum install nload (EPEL源)
- 界面操作
- 上下方向键、左右方向键、enter键或者tab键都就可以切换查看多个网卡的流量情况
- 按 F2 显示选项窗口
- 按 q 或者 Ctrl+C 退出 nload
- 示例:
- nload:默认只查看第一个网络的流量进出情况
- nload eth0 eth1:在nload后面指定网卡,可以指定多个
- 设置刷新间隔:默认刷新间隔是100毫秒,可通过 -t命令设置刷新时间(单位是毫秒)
- nload -t 500 eth0
- 设置单位:显示两种单位一种是显示Bit/s、一种是显示Byte/s,默认是以Bit/s,也可不显示/s
- -u h|b|k|m|g|H|B|K|M|G 表示的含义: h: auto, b: Bit/s, k: kBit/s, m: MBit/s, H: auto, B: Byte/s, K: kByte/s, M: MByte/s
- nload -u M eth0
lsof:
- lsof:list open files查看当前系统文件的工具。在linux环境下,一切皆文件,用户通过文件不仅可以访问常规数据,还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等,系统在后台都为该应用程序分配了一个文件描述符
- 命令参数
- -a:列出打开文件存在的进程
- -c:列出指定进程所打开的文件
- -g:列出GID号进程详情
- -d:列出占用该文件号的进程
- +d:列出目录下被打开的文件
- +D:递归列出目录下被打开的文件
- 命令参数
- -n:列出使用NFS的文件
- -i:列出符合条件的进程(4、6、协议、:端口、 @ip )
- -p:列出指定进程号所打开的文件
- -u:列出UID号进程详情
- -h:显示帮助信息
- -v:显示版本信息。
- -n: 不反向解析网络名字
- 进程管理
- 查看由登陆用户启动而非系统启动的进程
- lsof /dev/pts/1
- 指定进程号,可以查看该进程打开的文件
- lsof -p 9527
- 文件管理
- 查看指定程序打开的文件
- lsof -c httpd
- 查看指定用户打开的文件
- lsof -u root | more
- 查看指定目录下被打开的文件
- lsof +D /var/log/
- lsof +d /var/log/
- 参数+D为递归列出目录下被打开的文件,参数+d为列出目录下被打开的文件
- 查看由登陆用户启动而非系统启动的进程
- 示例:
- 查看所有网络连接
- lsof -i –n
- lsof -i@127.0.0.1
- 通过参数-i查看网络连接的情况,包括连接的ip、端口等以及一些服务的连接情况,例如:sshd等。也可以通过指定ip查看该ip的网络连接情况
- 查看端口连接情况
- lsof -i :80 -n
- 通过参数-i:端口可以查看端口的占用情况,-i参数还有查看协议,ip的连接情况等
- 查看指定进程打开的网络连接
- lsof -i –n -a -p 9527
- 参数-i、-a、-p等,-i查看网络连接情况,-a查看存在的进程,-p指定进程
- 查看指定状态的网络连接
- lsof -n -P -i TCP -s TCP:ESTABLISHED
- -n:no host names, -P:no port names,-i TCP指定协议,-s指定协议状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等
- 恢复删除文件
- lsof |grep /var/log/messages
- rm -f /var/log/messages
- lsof |grep /var/log/messages
- cat /proc/653/fd/6
- cat /proc/653/fd/6 > /var/log/messages
- 查看所有网络连接
kill
- kill:内部命令,可用来向进程发送控制信号,以实现对进程管理,每个信号对应一个数字,信号名称以SIG开头(可省略),不区分大小写
- 显示当前系统可用信号: kill -l 或者 trap -l
- 常用信号:man 7 signal
- 1) SIGHUP 无须关闭进程而让其重读配置文件
- 2) SIGINT 中止正在运行的进程;相当于Ctrl+c
- 3) SIGQUIT 相当于ctrl+
- 9) SIGKILL 强制杀死正在运行的进程
- 15) SIGTERM 终止正在运行的进程
- 18) SIGCONT 继续运行
- 19) SIGSTOP 后台休眠
- 指定信号的方法 :
- (1) 信号的数字标识:1, 2, 9
- (2) 信号完整名称:SIGHUP,sighup
- (3) 信号的简写名称:HUP,hup
- 按PID:kill [-s sigspec | -n signum | -sigspec] pid | jobspec ... or kill -l [sigspec]
- 示例:
- kill -1 pid …
- kill -n 9 pid
- kill -s SIGINT pid
- 示例:
- 按名称:killall [-SIGNAL] comm…
- 按模式:pkill [options] pattern
- -SIGNAL
- -u uid: effective user,生效者
- -U uid: real user,真正发起运行命令者
- -t terminal: 与指定终端相关的进程
- -l: 显示进程名(pgrep可用)
- -a: 显示完整格式的进程名(pgrep可用)
- -P pid: 显示指定进程的子进程
作业管理
- Linux的作业控制
- 前台作业:通过终端启动,且启动后一直占据终端
- 后台作业:可通过终端启动,但启动后即转入后台运行(释放终端)
- 让作业运行于后台
- (1) 运行中的作业: Ctrl+z
- (2) 尚未启动的作业: COMMAND &
- 后台作业虽然被送往后台运行,但其依然与终端相关;退出终端,将关闭后台作业。如果希望送往后台后,剥离与终端的关系
- nohup COMMAND &>/dev/null &
- screen;COMMAND
- 查看当前终端所有作业:jobs
- 作业控制:
- fg [[%]JOB_NUM]:把指定的后台作业调回前台
- bg [[%]JOB_NUM]:让送往后台的作业在后台继续运行
- kill [%JOB_NUM]: 终止指定的作业
并行运行
- 同时运行多个进程,提高效率
- 方法1
- vi all.sh
- f1.sh&
- f2.sh&
- f3.sh&
- 方法2
- (f1.sh&);(f2.sh&);(f3.sh&)
- 方法3
- f1.sh& f2.sh& f3.sh&