Linux性能优化笔记

Optimizing Linux Performance: A Hands-On Guide to Linux Performance Tools

1 性能追踪建议

记录一切可以搜集的信息，即使其中的一些信息在当时看起来没有太大的用途。

2 性能工具：系统CPU

在Linux下，进程有可运行和阻塞两种状态。可运行进程有分为两类：已经获得CPU时间正在运行的一类，和等待CPU时间的一类。在Linux系统中，运行队列长度就是系统中可运行状态的进程数量（平均值）。被阻塞的进程也可以分为两类：被I/O阻塞的进程，以及被系统调用阻塞的进程。一个CPU一次只能执行一个进程。在进程调度时，CPU需要把当前进程的信息保存起来，从内存中加载下一个进程的信息。这个过程叫做上下文切换。上下文切换会导致CPU中的高速缓存和流水线刷新，对性能有负面影响。为了公平的分配CPU时间，Linux会周期性的中断进程。通常，这种周期性上下文切换的数据可以作为考察系统上下文切换数量的基准：

cat /proc/interrupts | grep timer; sleep 10; cat /proc/interrupts | grep timer;

如果系统中断频率高于定时器的频率，说明进程经常陷入I/O等待或系统调用（比如休眠）等待之中。

在任意时刻，CPU可以处于以下几种状态： -空闲。CPU没有任务需要执行。 -执行用户代码，即“用户”时间。 -执行内核代码，即“系统”时间。 -执行低优先级的用户代码，即“nice”时间。 -等待I/O（磁盘或网络），即“iowait”时间。 -处理硬中断，即irq。 -处理软终端，softirq。

vmstat命令提供了系统CPU统计信息：

vmstat [-n] [-s] [delay [count]]

vmstat显示的各列如下：

| r | 运行队列长度 | | b | 等待I/O操作的进程数 | | forks | 创建新进程的次数 | | in | 系统中断次数 | | cs | 系统上下文切换次数 | | us | 用户代码消耗的时间占比，即用户时间和nice时间之和 | | sy | 系统代码消耗的时间占比，即系统时间、irq和softirq时间之和 | | wa | 等待I/O的时间占比 | | id | 空闲时间占比 |

top命令也提供了CPU信息：

top [-d delay] [-n iter] [-i] [-b]

top显示的各列如下：

另外一个常用的命令是procinfo：

procinfo [-f] [-b] [-D] [-n sec] [-F file]

top输出的各列为：

mpstat命令可以查看指定CPU上的时间分配：

mpstat [-P {cpu|ALL}] [delay [count]]

mpstat输出的各列为：

sar可以收集系统信息：

sar [options] [delay [count]]

| -c | 报告每秒创建的进程数 | | -I {irq SUM ALL XALL } | 中断速度 | | -P {cpu ALL} | 指定CPU | | -q | 运行队列长度 | | -u | CPU使用情况 | | -w | 上下文切换数 | | -o file | 输出到文件 | | -f file | 从文件读取选项 | | delay | 采用间隔 | | count | 样本数 |

sar统计的CPU数据有：

oprofile也可以收集系统信息：

opcontrol [--start] [--stop] [--dump]
opcontrol [--list-events] [-event=:name:count:unitmask:kernel:user:]
opreport [-r] [-t]

opreport选项：

3 性能工具：系统内存

Linux将内存划分为“页”，这是内存管理的单位。下面的程序可以输出系统中一个页有多少字节：

#include <unistd.h>
int main(int argc, char *argv[]) {
    printf("System page size: %d\n", getpagesize());
}

IA32架构下，页通常是4KB。为了提高性能，Linux可以使用HugePage来管理单元。HugePage通常是2MB。

为了提供更多的虚拟内存，当物理内存不足时，Linux将部分内存保存在磁盘上，这部分空间叫做交换分区（swap space）。Linux也会把文件系统中近期访问过的文件缓存在内存中，这部分叫做缓存（cache）。此外，为每个已经打开的文件，Linux会分配读写缓冲区，避免每次写入都执行磁盘IO。

vmstat命令可以提供内存统计信息：

vmstat [-a] [-s] [-m]

| -a | 显示活跃内存和非活跃内存。非活跃内存是已分配未使用的内存。 | | -s | 打印vm表 | | -m | 输出分片信息，同/proc/slabinfo |

vmstat输出的各列如下：

top命令也可以查看内存情况。top输出的各列如下：

procinfo提供的内存信息如下：

free命令也可以提供内存情况：

free [-l] [-t] [-s delay] [-c count]

free输出的内容如下：

slabtop可以显示内存分配情况：

slabtop [--delay n -sort={a|b|c|l|v|n|o|p|s|u}

| –delay | 采样间隔 | | 排序 | | | a | 活跃对象 | | b | 全部对象 | | c | 缓存内存总量 | | l | 缓存分片数 | | v | 缓存活跃分片数 | | n | 缓存名 | | o | 对象数量 | | p | 每个分片使用的页数量 | | s | 对象大小 |

sar可以输出内存信息：

sar [-B] [-r] [-R]

| -B | 缺页数量 | | -W | 交换页数量 | | -r | 内存信息 |

sar输出的内容有：

查看文件文件/proc/meminfo也可以得到内存信息：

4 性能工具：特定进程CPU

time命令（/usr/bin/time，不是bash内置的time函数）可以输出

time [-v] application

time命令的输出如下

strace是一个观察系统调用执行情况的工具：

strace [-c] [-p pid] [-o file] [command [arg ...]]

strace输出各类内容为：

ltrace和strace类似，区别在于ltrace跟踪程序对库的调用：

ltrace [-c] [-p pid] [-o filename] [-S] command

ltrace输出各类内容和strace类似：

ps也是一个很好的工具：

ps [-o etime,time,pcpu,command] [-u user] [-U user] [PID]

在执行动态链接程序时，首先运行的是Linux加载器ld.so。要观察程序启动时ld消耗的时间，可以用：

env LD_DEBUG=statistics,help LD_DEUBG_OUTPUT=filename <command>

gprof [-p -flat-profile -q --graph --brief -A -annotated-source] app

5 性能工具：特定进程内存

ps [-o vsz,rss,tsiz,dsiz,majflt,minflt,pmem,command] <pid>

/proc/<PID>/status

/proc/<PID>/maps

valgrind --skin-cachegrind application
cg_annotation --pid [--auto=yes|no]

kcachegrind可以检测高速缓存。

calltree application
kcachegrind cachegrind.out.pid

ipcs [-t] [-c] [-l] [-u] [-p]

6 性能工具：磁盘I/O

Linux上IDE驱动的磁盘多被命名为hda、hdb、hdc等，SCSI驱动的硬盘被命名为sda、sdb、sdc等。分区名是在磁盘名后面添加分区号，比如首个IDE磁盘的第二个分区是/dev/hda2。

vmstat可以用来观察磁盘I/O情况：

vmstat [-D] [-d] [-p partition] [interval [count]]

vmstat输出的I/O统计信息有：

iostat [-d] [-k] [-x] [device] [interval] [count]

iostat输出的内容如下：

sar -d [interval [count]]

lsof [-r delay] [+D directory] [+d directory] [file]

lsof输出的内容有：

7 性能工具：网络

当数据帧经过内核时，Linux会统计如下信息：

-发送/接收。正常收发的数据。 -错误。可能是电缆损坏或双工不匹配。 -丢弃。由于内存或缓冲区不足丢弃的数据。 -溢出。由于内核或网卡收到太多的帧，被网络丢弃的数据。 -帧。由于物理层面原因被丢弃的帧，如CRC校验错误。 -多播。 -压缩。如PPP（点对点）协议或SLIP（串行线路网际）协议会压缩帧数据。

在Linux下，以太网设备被命名为ethN，如eth0就是第一个以太网设备。PPP设备以pppN命名。

mii-tool可以检测以太网设备信息：

mii-tool [-v] [device]

ethtool [device]

ifconfig [device]

ip -s [-s] link

sar [-n DEV | EDEV | SOCK | FULL] [DEVICE] [interval] [count]

sar输出如下：

iptraf [-d interface] [-s interface] [-t <minutes>]

netstat [-p] [-c] [-interfaces=<name>] [-s] [-t] [-u] [-w]

8 实用工具：性能工具助手

while true; do sleep 1; /sbin/ifconfig eth0 | grep 'RX packets'; done;

script命令会启动一个新shell，记录shell中的所有输入和输出。

script [-a] [-t] [file]

| -a | 追加写入文件 | | -t | 计时 | | file | 输出文件名，默认是typescript |

在使用时，最好先设置为哑终端：

export TERM=dumb
script ps_output

watch每秒运行一次命令，并将命令输出的变化突出显示：

watch [-d [=cumulative]] [-n sec] <command>

watch -n 10 "ps -o minflt,cmd"

ldd <binary>

objdump -T <binary>

来源：https://my.oschina.net/u/131191/blog/3130537

标签

strace

ltrace

Linux