Linux awk命令

拈花ヽ惹草 提交于 2019-11-27 08:27:53

awk

printf 格式化输出
[root@localhost ~]# printf ‘输出类型输出格式’ 输出内容

输出类型:
%ns 输出字符串。n 是数字指代输出几个字符
%ni 输出整数。n 是数字指代输出几个数字
%m.nf 输出浮点数。m 和 n 是数字,指代输出的整数位数和小数位数。如%8.2f代表共输出 8 位数,其中 2 位是小数,6 位是整数。
输出格式
\a 输出警告声音
\b 输出退格键,也就是 Backspace 键
\f 清除屏幕
\n 换行
\r 回车,也就是 Enter 键
\t 水平输出退格键,也就是 Tab 键
\v 垂直输出退格键,也就是 Tab 键

创建一个student.txt方便演示(有强迫症的可以加空格)

[root@localhost ~]# vi student.txt
ID Name PHP Linux MySQL Average
1 Liming 82 95 86 87.66
2 Sc 74 96 87 85.66
3 Tg 99 83 93 91.66

不指定输出格式,没有\n和\t看着挺糙

[root@localhost ~]# printf '%s' $(cat student.txt)
IDNamegenderPHPLinuxMySQLAverage1LimingM82958687.662ScM74968785.663TgM99839391.66[root@
localhost ~]#

咱加上

[root@localhost ~]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
#注意在 printf 命令的单引号中,只能识别格式输出符号,而手工输入的空格是无效的
ID Name PHP Linux MySQL Average
1 Liming 82 95 86 87.66
2 Sc 74 96 87 85.66
3 Tg 99 83 93 91.66 

按照整型和浮点型输出,如下

[root@localhost ~]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' \
$(cat student.txt | grep -v Name)

awk 基本使用

(画个重点)
[root@localhost ~]# awk ‘条件 1{动作 1} 条件 2{动作 2}…’ 文件名

条件的类型 条 件 说 明
awk 保留字 BEGIN 在 awk 程序一开始时,尚未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次
END 在 awk 程序处理完所有数据,即将结束时执行。END 后的动作只在程序结束时执行一次
关系运算符 > 大于
< 小于
>= 大于等于
<= 小于等于
== 等于。用于判断两个值是否相等,如果是给变量赋值,请使用“=”号
== 不等于
A~B 判断字符串 A 中是否包含能匹配 B 表达式的子字符串
A!~B 判断字符串 A 中是否不包含能匹配 B 表达式的子字符串正则表达式 /正则/ 如果在“//”中可以写入字符,也可以支持正则表达式
正则表达式 /正则/ 如果在“//”中可以写入字符,也可以支持正则表达式

举个例子:

[root@localhost ~]# awk '{printf $2 "\t" $6 "\n"}' student.txt
    #输出第二列和第六列

举个栗子(BEGIN):

[root@localhost ~]# awk 'BEGIN{printf "This is a transcript \n" }
{printf $2 "\t" $6 "\n"}' student.txt
#awk 命令只要检测不到完整的单引号不会执行,所以这个命令的换行不用加入“\”,就是一行命令
#这里定义了两个动作
#第一个动作使用 BEGIN 条件,所以会在读入文件数据前打印“这是一张成绩单”(只会执行一次)

举个栗子(END):

[root@localhost ~]# awk 'END{printf "The End \n" }
{printf $2 "\t" $6 "\n"}' student.txt
#在输出结尾输入“The End”,这并不是文档本身的内容,而且只会执行一次

举个栗子(管道符|):
#加入了条件之后,只有条件成立动作才会执行,如果条件不满足,则动作则不运行。

[root@localhost ~]# cat student.txt | grep -v Name | \awk '$6 >= 87 {printf $2 "\n" }'
#使用 cat 输出文件内容,用 grep 取反包含“Name”的行
#判断第六字段(平均成绩)大于等于 87 分的行,如果判断式成立,则打第六列(学员名)

再举个栗子:
#看 Sc 用户的平均成绩呢:

[root@localhost ~]# awk '$2 ~ /Sc/ {printf $6 "\n"}' student.txt
#如果第二字段中输入包含有“Sc”字符,则打印第六字段数据
85.66

举个例子( 正则表达式):
如果要想让 awk 识别字符串,必须使用“//”包含

[root@localhost ~]# awk '/Liming/ {print}' student.txt
#打印 Liming 的成绩

举个栗子(df):
使用 df 命令查看分区使用情况是,只想查看真正的系统分区的使用状况,不查看
光盘和临时分区的使用状况,如下:

[root@localhost ~]# df -h | awk '/sda[0-9]/ {printf $1 "\t" $5 "\n"} '
#查询包含有 sda 数字的行,并打印第一字段和第五字段
awk 内置变量 作 用
$0 代表目前 awk 所读入的整行数据。我们已知 awk 是一行一行读入数据的,$0 就代表当前读入行的整行数据。
$n 代表目前读入行的第 n 个字段。
NF 当前行拥有的字段(列)总数。
NR 当前 awk 所处理的行,是总数据的第几行。
FS 用户定义分隔符。awk 的默认分隔符是任何空格,如果想要使用其他分隔符(如“:”),就需要 FS 变量定义。
ARGC 命令行参数个数。
ARGV 命令行参数数组。
FNR 当前文件中的当前记录数(对输入文件起始为 1)。
OFMT 数值的输出格式(默认为%.6g)。
OFS 输出字段的分隔符(默认为空格)。
ORS 输出记录分隔符(默认为换行符)。
RS 输入记录分隔符(默认为换行符)。

举个例子(查看用户uid):

[root@localhost ~]# cat /etc/passwd | grep "/bin/bash" | \
awk '{FS=":"} {printf $1 "\t" $3 "\n"}'
#查询可以登录的用户的用户名和 UID

举个例子:
#“:”分隔符生效,第一行却没有起作用,记得加“BEGIN”条件,

[root@localhost ~]# cat /etc/passwd | grep "/bin/bash" | \
awk 'BEGIN {FS=":"} {printf $1 "\t" $3 "\n"}' 

[root@localhost ~]# cat /etc/passwd | grep "/bin/bash" | \
awk 'BEGIN {FS=":"} {printf $1 "\t" $3 "\t 行号:" NR "\t 字段数:" NF "\n"}'
#解释下 awk 命令
#开始执行{分隔符是“:”} {输出第一字段和第三字段 输出行号(NR 值) 字段数(NF 值)}
root 0 行号:1 字段数:7
user1 501 行号:2 字段数:7

查看sshd伪用户

[root@localhost ~]# cat /etc/passwd | \awk 'BEGIN {FS=":"} $1=="sshd" {printf $1 "\t" $3 "\t 行号:"NR "\t 字 段数:"F "\n"}'
#可以看到 sshd 伪用户的 UID 是 74,是/etc/passwd 文件的第 28 行,此行有 7 个字段

awk 流程控制

举个例子:
#在 awk 中定义变量与调用变量的值。假设统计 PHP 成绩的总分

[root@localhost ~]# awk 'NR==2{php1=$3}
NR==3{php2=$3}
NR==4{php3=$3;totle=php1+php2+php3;print "totle php is " totle}' student.txt
#统计 PHP 成绩的总分 

我们解释下这个命令。“NR2{php1=$3}”(条件是 NR2,动作是 php1=$3)这句话是指如果
输入数据是第二行(第一行是标题行),就把第二行的第三字段的值赋予变量“php1”。
“NR3{php2=$3}”这句话是指如果输入数据是第三行,就把第三行的第三字段的值赋予变量“php2”。
“NR
4{php3=$3;totle=php1+php2+php3;print "totle php is " totle}”(“NR==4”是条件,后
面{}中的都是动作)这句话是指如果输入数据是第四行,就把第四行的第三字段的值赋予变量“php3”;
然后定义变量 totle 的值是“php1+php2+php3”;然后输出“totle php is”关键字,后面加变量 totle
的值。
在 awk 编程中,因为命令语句非常长,在输入格式时需要注意以下内容:

  1. 多个条件{动作}可以用空格分割,也可以用回车分割。
  2. 在一个动作中,如果需要执行多个命令,需要用“;”分割,或用回车分割。
  3. 在 awk 中,变量的赋值与调用都不需要加入“$”符。
  4. 条件中判断两个值是否相同,请使用“==”,以便和变量赋值进行区分。

例子:
在看看该如何实现流程控制,假设如果 Linux 成绩大于 90,就是一个好男人

[root@localhost ~]# awk '{if (NR>=2)
{if ($4>90) printf $2 " is a good man!\n"}}' student.txt
#程序中有两个 if 判断,第一个判断行号大于 2,第二个判断 Linux 成绩大于 90 分
Liming is a good man!
Sc is a good man!

在 awk 中 if 判断语句,完全可以直接利用 awk 自带的条件来取代

[root@localhost ~]# awk ' NR>=2 {test=$4}
test>90 {printf $2 " is a good man!\n"}' student.txt
#先判断行号如果大于 2,就把第四字段赋予变量 test
#在判断如果 test 的值大于 90 分,就打印好男人
Liming is a good man!
Sc is a good man!

awk 函数

function 函数名(参数列表){
函数体
}

函数:

[root@localhost ~]# awk 'function test(a,b) { printf a "\t" b "\n" }
#定义函数 test,包含两个参数,函数体的内容是输出这两个参数的值
{ test($2,$6) } ' student.txt
#调用函数 test,并向两个参数传递值。
Name Average
Liming 87.66
Sc 85.66
Tg 91.66

awk 中调用脚本

[root@localhost ~]# vi pass.awk
BEGIN {FS=":"}
{ print $1 "\t" $3}

然后可以使用“-f”选项来调用这个脚本:

[root@localhost ~]# awk -f pass.awk /etc/passwd
root 0
bin 1
daemon 2
…省略部分输出… 
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!