linux文本三剑客之awk详解

awk工具

Linux 文本处理三剑客grep、sed、awk,这三个命令在工作和面试过程中出现的频率非常高,有时候很复杂的需求,一条简单的命令就可以实现,今天就先学习一下最强大的awk。

awk的概念及作用

awk命名源自于它的三大作者名字的首字母,分别是Alfred Aho、Brian Kernighan、Peter Weinberger。
awk是一个强大的文本分析工具,相当于grep的查找和sed的编辑功能,根据分隔符对每行数据切片,切开的部分在进行各种分析处理,处理的数据可以来自标准输入、一个或多个文件,或其它命令的输出。
常用作脚本使用。

AWK语法

awk [options] 'BEGIN{ print "start" } ‘pattern{ commands }’ END{ print "end" }' file

BEGIN、END是AWK的关键字部,因此必须大写,属于可选部分。
BEGIN命令快是处理每行数据之前执行的操作。
END命令是处理完每行数据之后执行的操作,常用于打印输出统计结果等。

linux文本三剑客之awk详解插图

awk [options] 'pattern{action}' {filenames}
  • pattern:匹配模式,表示AWK在数据中查找的内容
  • action:找到匹配内容时所执行的一系列命令

awk匹配模式pattern参数
linux文本三剑客之awk详解插图1

awk常用参数

  • -F:指定分隔符,默认使用空格进行分隔
  • -V:赋值一个用户定义变量

awk命令中常用的内置变量

  • $1:比如$1,取第几列信息
  • NF:浏览记录的域的个数, 根据分隔符分割后的列数
  • $NF: 取最后一列
  • $(NF-n): 取倒数第几列
  • $0: 取所有列的信息
  • FILENAME:awk浏览的文件名
  • NR:行号
  • RS:行分隔符,默认是换行;
  • FS:列分隔符,默认是空格和制表符;
  • OFS:输出列分隔符,用于打印时分割字段,默认为空格
  • ORS:输出行分隔符,用于打印时分割记录,默认为换行符

awk流程控制

{if(表达式){语句;语句;...}}

{if(表达式){语句;语句;...}else{语句;语句;...}}

{if(表达式){语句;语句;...}else if(表达式){语句;语句;...}else if(表达式){语句;语句;...}else{语句;语句;...}}

学习案例:

使用系统passwd文件进行演示
linux文本三剑客之awk详解插图2

1.打印第一列

awk  -F ':'  '{print $1}' /etc/passwd

linux文本三剑客之awk详解插图3
2.打印第二行的内容

awk -F ':' 'NR==2{print $0}' /etc/passwd

linux文本三剑客之awk详解插图4
3.打印第5行到第10行的第1列

awk -F: '{if(NR>=5 && NR<=10) print $1}' /etc/passwd

linux文本三剑客之awk详解插图5
4.指定多个分隔符

echo "abc:def/linux" | awk -F '[:/]' '{print $1","$2","$3}'

linux文本三剑客之awk详解插图6

5.统计passwd文件每行的行号、列数、行内容

awk  -F ':'  '{print "行号:" NR ",列数:" NF ",行内容:"$0}' /etc/passwd

linux文本三剑客之awk详解插图7

6.打印以mysql开头的行

awk '/^mysql/'  /etc/passwd

linux文本三剑客之awk详解插图8
7.过滤IP

ifconfig | awk '/broadcast/{print}' | awk -F " " '{print $2}'

linux文本三剑客之awk详解插图9
8.统计/etc/passwd下的账户数

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd

linux文本三剑客之awk详解插图10
9.打印字符串长度大于3的单词

echo "I am a teacher" |awk '{for(i=1;i<=NF;i++) if(length($i)>3) print $i}'

linux文本三剑客之awk详解插图11

原创内容,禁止转载
程序员知识精选 » linux文本三剑客之awk详解