AWKAWK 文本报告生成器

AWK 是行处理工具，每次处理一条记录。
CentOS 中默认使用 GNU awk（gawk）

AWK 用法

awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] ‘BEGIN{action;… }pattern{action;… }END{action;… }’ file …

awk 程序可由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块，共3部分组成
program 通常是被放在单引号中

AWK 基本格式

awk [options] ‘program’ file…

Program：pattern{action statements;..}

awk 和grep，sed一样，都是逐行处理

-F “分隔符”

awk默认的分隔字段的分隔符为空白符（空格，换行，制表符）

默认输出分隔符为空格

分隔符支持正则表达式

1	df \|awk -F'[ %]+' '/^/dev/sd/{print $5}'

pattern 模式

pattern部分决定动作语句何时触发及触发事件 BEGIN,END

action 动作

action statements对数据进行处理，放在{}内指明 print, printf

分隔字段（域）的分隔符：$1,$2,…$n, $0为所有域，和shell中的变量$符的含义不同

BEGIN 用于初始化，打印表头
不添加文件时可以只打印一遍输出内容

END 用于信息汇总，打印结果

省略action 部分默认执行 print $0 操作

action 部分不加引号会识别为变量，如果要打印字符串需要加引号

[[email protected] data]#awk -v n="abc" 'BEGIN{print n}'
abc
[[email protected] data]#awk -v n="abc" 'BEGIN{print "n"}'
n

action 可以数字运算，如果加“ ” 会识别为字符串

[[email protected] data]#awk 'BEGIN{print 1+2}'
3
[[email protected] data]#awk 'BEGIN{print "1+2"}'
1+2

AWK 变量

-v var=value 变量赋值

内置变量

FS：输入字段分隔符，默认为空白字符

1 2	awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd awk –F: '{print $1,$3,$7}’ /etc/passwd

OFS：输出字段分隔符，默认为空白字符

1	awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd

RS：输入记录分隔符，指定输入时的换行符

1	awk -v RS=' ' ‘{print }’ /etc/passwd

ORS：输出记录分隔符，输出时用指定符号代替换行符

1	awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd

NF：字段数量

1 2	awk -F：‘{print NF}’ /etc/fstab #引用变量时，变量前不需加$ awk -F：‘{print $(NF-1)}' /etc/passwd

NR：记录号

awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab

awk -F: '{print NR,$1}' /etc/passwd /etc/group  #记录号显示的是两个文件一起排序的结果
1 root
2 bin
...
43 root
44 bin

FNR：各文件分别计数,记录号

1	awk '{print FNR}' /etc/fstab /etc/inittab

FILENAME：当前文件名

1	awk '{print FILENAME}’ /etc/fstab

ARGC：命令行参数的个数

1 2	awk '{print ARGC}’ /etc/fstab /etc/inittab awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

ARGV：数组，保存的是命令行所给定的各参数

1 2	awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

自定义变量

自定义变量字符区分大小写
(1) -v var=value

1 2	awk -v test='hello gawk' '{print test}' /etc/fstab awk -v test='hello gawk' 'BEGIN{print test}'

(2) 在program中直接定义

1 2	awk 'BEGIN{test="hello,gawk";print test}' awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd

把awk 放到文件中

1
2
3

vim awk.txt
{print $1}
awk -F: -f awk.txt /etc/passwd

printf 格式化输出

printf 在shell中也有，属于内部命令

格式：printf “FORMAT”, item1, item2, …

必须指定FORMAT
不会自动换行，需要显式给出换行控制符，n
FORMAT中需要分别为后面每个item指定格式符
格式符：与item一一对应

%c：显示字符的ASCII码
%d, %i：显示十进制整数
%e, %E：显示科学计数法数值
%f：显示为浮点数
%g, %G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身

修饰符

m[.n] 第一个m控制显示的宽度；第二个n表示小数点后精度，%3.1f

- 左对齐（默认右对齐） %-15s

+ 显示数值的正负符号 %+d

[[email protected] data]#awk -F: 'BEGIN{print "-----------------------------n|username             |uid  |"}{printf "-----------------------------n|%-20s |%-5d|n",$1,$3}END{print "+---------------------------+"}' /etc/passwd

算术操作符

x+y, x-y, x*y, x/y, x^y, x%y

-x：转换为负数

+x：将字符串转换为数值
字符串操作符：没有符号的操作符，字符串连接

赋值操作符：=, +=, -=, *=, /=, %=, ^=，++, –

[[email protected] data]#awk 'BEGIN{i=0;print ++i,i}'
1 1
[[email protected] data]#awk 'BEGIN{i=0;print i++,i}'
0 1

比较操作符：
==, !=, >, >=, <, <=

模式匹配符：
~：左边是否和右边匹配
!~：是否不匹配

逻辑操作符：与&&，或||，非!
逻辑判断写在括号外面，属于PATTERN

awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd
awk -F: '!($3==0) {print $1}' /etc/passwd
awk -F: '!($3>=500) {print $3}' /etc/passwd

条件表达式（三目表达式）
selector?if-true-expression:if-false-expression

1	[[email protected] data]#awk -F: '$3>=1000?name="common user":name="system user"{print name,$1,$3}' /etc/passwd

PATTERN

(1)如果未指定：空模式，匹配每一行

(2) /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来

1 2	awk '/^UUID/{print $1}' /etc/fstab awk '!/^UUID/{print $1}' /etc/fstab

lastb |awk '$3 ~ /^[[:digit:]]/{print $3}'
awk -F: 'i=1;j=1{print i,j}' /etc/passwd
awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
Awk -F: '$3>=1000{print $1,$3}' /etc/passwd
awk -F: '$3<1000{print $1,$3}' /etc/passwd
awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
lastb |awk '$3 ~ /^[[:digit:]]/{print $3}' |sort |uniq -c |awk '$1>3{print $1,$2}'

(3) relational expression: 关系表达式，结果为“真”才会被处理

真：结果为非0值，非空字符串
假：结果为空字符串或0值

seq 10 | awk 'i=0'
seq 10 | awk 'i=1'
seq 10 | awk 'i=!i' #打印奇数行
seq 10 | awk '{i=!i;print i}'
seq 10 | awk '!(i=!i)'  #打印偶数行
seq 10 |awk -v i=1 ‘i=!i’   #打印偶数行

(4) line ranges：行范围

1
2
3

startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式
awk -F: '/^root>/,/^nobody>/{print $1}' /etc/passwd
awk -F: '(NR>=10&&NR<=20){print NR,$1}' /etc/passwd

(5) BEGIN/END模式
BEGIN{}：仅在开始处理文件中的文本之前执行一次
END{}：仅在文本处理完成之后执行一次

if-else 条件判断

语法：
if(condition){statement;…}[else statement]

if(condition1){statement1}else if(condition2){statement2}else{statement3}

对awk取得的整行或某个字段做条件判断

1 2	awk 'BEGIN{ test=100;if(test>90){print "very good"} else if(test>60){ print ”good”}else{print "no pass"}}'

while 循环

while循环
语法：while(condition){statement;…}
条件“真”，进入循环；条件“假”，退出循环

对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用

1	[[email protected] data]#awk -F: 'NR==1{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/passwd

1	[[email protected]]#awk-F, '{i=1;max=$1;min=$1;while(i<=NF){if($i>max){max=$i}else if($i<min){min=$i}i++}}END{print "max="max,"min="min}' f3.txt

do-while 循环

do-while循环
语法：do {statement;…}while(condition)

意义：无论真假，至少执行一次循环体

1	awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}'

for 循环

for循环
语法：for(expr1;expr2;expr3) {statement;…}

特殊用法：能够遍历数组中的元素
语法：for(var in array) {for-body}

switch

语法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; …; default: statementn}

break

1 2	awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) {if(i==66)break;sum+=i}print sum}'

1 2	[[email protected] ~]#awk 'BEGIN{total=0;for(i=1;i<=100;i++){if(i==50)break;total+=i};print total}' 1225

continue

1 2	awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) {if(i%2==0)continue;sum+=i}print sum}'

1 2	[[email protected] ~]#awk 'BEGIN{total=0;for(i=1;i<=100;i++){if(i==50)continue;total+=i};print total}' 5000

提前结束对本行处理而直接进入下一行处理（awk自身循环）

1	[[email protected] ~]#awk -F: '{if(NR%2==0)next;print NR,$0}' /etc/passwd

数组

awk 中用的都是关联数组

关联数组：array[index-expression]

index-expression:

可使用任意字符串；字符串要使用双引号括起来
如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历

1 2	awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday"; print weekdays["mon"]}'

[[email protected] ~]#echo -e "abcnabcnbbbncccncccncccnddd"|awk '{!line[$0]++;print $0,line[$0]}'abc 1
abc 2
bbb 1
ccc 1
ccc 2
ccc 3
ddd 1

遍历数组中的每个元素
for(var in array) {for-body}

注意：var会遍历array的每个索引，从数组元素中取下标

数组遍历的打印结果是无序的

1 2	netstat -tan \| awk '/^tcp/{state[$NF]++} END{for(i in state) { print i,state[i]}}'

1	ss -nt\|awk -F"[[:space:]:]+" '/ESTAB/{ip[$(NF-2)]++}END{for(i in ip){print i,ip[i]}}'

函数

内置函数

rand(): 返回0和1之间一个随机数

1 2	[[email protected] data]#awk 'BEGIN{srand();print rand()}' 0.126253

1 2	[[email protected] data]#awk 'BEGIN{srand();print int(rand()*100)}' 62

length([s])：返回指定字符串的长度
sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s

1	echo "2008:08:08 08:08:08" \| awk 'sub(/:/,"-",$1)'

gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容

1	echo "2008:08:08 08:08:08" \| awk ‘gsub(/:/,"-",$0)'

split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第一个索引值为1,第二个索引值为2,…

1 2	netstat -tn \| awk '/^tcp>/{split($5,ip,":");count[ip[1]]++} END{for (i in count) {print i,count[i]}}'

自定义函数

格式：
function name ( parameter, parameter, … ) {
statements
return expression
}

[[email protected] data]#vim fun.awk
function max(x,y){
    x>y?var=x:var=y
    return var
}
BEGIN{print max(a,b)} 
[[email protected] data]#awk -v a=29 -v b=13 -f fun.awk
29

system 函数

空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说除了awk的变量外其他一律用””引用起来

1	awk 'BEGIN{dir="/boot";system("ls "dir)}'

awk 脚本

格式：awkfile var=value var2=value2… Inputfile

注意：在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通过-v 参数，让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数

读入文件时，变量可以不用加 -v

[[email protected] data]#vim f2.awk
#!/bin/awk -f
#
{if($3>=num)print $1,$3}
[[email protected] data]#./f2.awk -F: num=1000 /etc/passwd
nfsnobody 65534

[[email protected] data]#vim f3.awk
#!/bin/awk -f
{if($3>=min && $3<=max)print $1,$3} 
[[email protected] data]#./f3.awk -F: min=100 max=200 /etc/passwd
systemd-network 192