Linux四剑客grep、find、sed、awk使用全解析

## ‌介绍 Linux四剑客‌是指在Linux系统中非常常用的四个命令工具，它们分别是grep、find、sed和awk。这四个工具在Linux系统中具有非常强大的功能，可以方便快捷地对文本进行搜索、处理和查找。‌ ## grep命令 ### 作用 grep命令主要用于过滤文件内容，在文件中找到你需要或者不要的内容，类似与一个漏斗. ### 语法 `grep [选项] [关键字] 文件` ### 常用选项说明 这里只列出了实际工作中常用的选项，如果有其它的选项漏掉的，可以进行评论 - -i：不区分关键字的大小写，ignore case - -n：显示文件的行号 - -v：取反，排除关键字 - -r：递归搜索指定目录下的所有文件，例如`grep -r "pattern" /path/to/directory` - -c：计数，只返回匹配的行数，类似`wc -l`命令 - -e：同时搜索多个模式，匹配任意一个即可。例如`grep -e "pattern1" -e "pattern2" file.txt` - -E：可以使用正则表达式，例如`grep -E "pattern1|pattern2" file.txt` - -l：在多个文件中搜索时，只显示包含匹配模式的文件名，而不是文件内容。例如`grep -l "pattern" *.txt` - -L：在多个文件中搜索时，只显示不包含匹配模式的文件名。例如`grep -L "pattern" *.txt` - -C：显示匹配行前后的指定行数。例如`grep -C 2 "pattern" file.txt` - -F：匹配包含固定字符串的行。例如`grep -F "fixed" string file.txt` - -A：显示匹配行后的指定行数。如`grep -A 2 "pattern" file.txt` - -B：显示匹配行前的指定行数。如`grep -B 2 "pattern" file.txt` ## find命令 ### 作用 find 是一个在 Linux 和 Unix 系统中非常强大的命令行工具，用于在文件系统中搜索文件和目录。它可以根据文件名、路径、大小、修改时间、权限等多种条件进行搜索 ### 语法 ```csharp find [搜索路径] [选项] [表达式] ``` - 搜索路径，指定从哪个目录开始搜索，如果不指定搜索深度，默认会在指定目录下递归搜索。如果不指定目录，默认从当前目录开始 - 选项：用于控制搜索行为，例如递归深度，搜索类型等 - 表达式：用于定义搜索条件，如文件名、大小、修改时间等 ### 常用选项 - -name：根据文件名搜索 ```csharp #搜索/etc目录下hosts文件 [root@master:~]# find /etc/ -name "hosts" /etc/hosts #搜索/etc目录下所有以conf结尾的文件 [root@master:~]# find /etc -name "*.conf" /etc/nscd.conf /etc/nsswitch.conf ... /etc/modules-load.d/modules.conf /etc/request-key.d/id_resolver.conf /etc/kubernetes/scheduler.conf ``` - -type：指定文件类型 - f：文件类型为普通文件 - d：文件类型为目录 - l：文件类型为符号链接 ```csharp # 搜索/etc目录下所有的目录 [root@master:~]$ find /etc/ -type d # 搜索/etc目录下所有的文件 [root@master:~]$ find /etc/ -type f # 搜索/etc目录下所有的符号连接 [root@master:~]$ find /etc/ -type l ``` - -size：根据文件大小搜索 - +n：文件大于n - -n：文件小于n - n：文件等于n - 单位：`c`(byte)、`k`(kb)、`M`(Mib)、`G`(Gib) ```csharp # 搜索/etc目录下大于10K的文件 [root@master:~]$ find /etc/ -size +10k /etc/login.defs /etc/X11/rgb.txt /etc/ld.so.cache ``` - -mtime：根据文件修改时间搜索，单位天。 - +n：超过 n 天。 - -n：少于 n 天。 - n：正好 n 天。 ```csharp #查找etc目录下修改时间大于30天的文件 [root@master:~]$ find /etc/ -mtime +30 ``` - -mmin：根据文件修改时间搜索，单位分钟 - +m：超过 m 分钟 - -m：少于 m 分钟 - m：正好 m 分钟 ```csharp #查找etc目录下修改时间大于30分钟的文件 [root@master:~]$ find /etc/ -mmin +30 ``` - -perm：根据文件权限进行搜索 ```csharp [root@master:~]$ find /etc/ -perm 755 ``` - -user：根据文件拥有者进行搜索 ```csharp # 搜索etc目录下，用户为root的文件 [root@master:~]$ find /etc/ -user root ``` - -group：根据文件所属组进行搜索 ```csharp [root@master:~]$ find /etc/ -group root ``` - -maxdepth：限制搜索的最大深度，也就是指定递归搜索的深度 1代表指定目录下，2代表指定目录下的下一层目录，依次递归下去 ```csharp # 查找当前目录下以conf结尾的文件 [root@master:~]$ find /etc/ -maxdepth 1 -name "*.conf" ``` - -empty：查找空目录或空文件 ```csharp # 查找空目录 [root@master:~]$ find /etc/ -type d -empty # 查找空文件 [root@master:~]$ find /etc/ -type f -empty ``` - -delete：直接删除文件 ```csharp # 查找到空文件直接删除 [root@master:~]$ find /var/ -type f -empty -delete ``` - -exec：对搜索到的文件执行命令 ```csharp # 查找到空文件进行删除 [root@master:~]$ find /var/ -type f -empty -exec rm -f {} \ ``` - -a：使用-a（逻辑与，and）或者默认的空格分隔符组合多个条件 ```csharp [root@master:~]$ find /path/to/search -type f -size +10M -mtime +30 ``` - -o：使用-o（逻辑或，or）组合多个条件 ```csharp #搜索文件扩展名为txt或log的文件 [root@master:~]$ find /path/to/search \( -name "*.txt" -o -name "*.log" \) ``` ## sed命令 sed（Stream Editor）是一个流式文本编辑器，用于对文本进行快速的、非交互式的编辑。它能够对输入的文本进行各种操作，如替换、删除、插入、提取等，并将结果输出到标准输出（stdout）。 ### 基本语法 ```csharp sed [选项] '编辑命令' 文件名 ``` - 选项：用于控制 sed 的行为，例如 -i 表示直接修改文件，-n 表示静默模式。 - 编辑命令：定义对文本的具体操作，通常放在单引号或双引号中。 - 文件名：指定要处理的文件。如果省略文件名，sed 会从标准输入读取数据。 `sed`常用选项： - -n：默认情况下，sed会在所有的脚本执行完毕后，自动输出处理后的内容，而该选项会屏蔽自动输出，需要使用print命令来完成输出。一般结合p使用 - -i：此选项会直接修改源文件，要慎用 - -i.bak：先备份再修改文件内容，推荐使用 - -r：支持扩展正则 ### `sed` 打印行 示例一：打印出文件所有的内容 ```csharp [root@master:~]# sed '' /etc/passwd root:x:0:0:root:/root:/bin/bash #...省略万字内容 devops:x:1000:1000::/home/devops:/bin/sh ``` 示例二：打印出文件的第五行数据 ```csharp [root@master:~]# sed -n '5p' /etc/passwd sync:x:4:65534:sync:/bin:/bin/sync ``` 示例三：打印出文件的第五行至第十行数据 ```csharp [root@master:~]# sed -n '5,10p' /etc/passwd sync:x:4:65534:sync:/bin:/bin/sync games:x:5:60:games:/usr/games:/usr/sbin/nologin man:x:6:12:man:/var/cache/man:/usr/sbin/nologin lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin mail:x:8:8:mail:/var/mail:/usr/sbin/nologin news:x:9:9:news:/var/spool/news:/usr/sbin/nologin ``` 示例四：打印出文件的最后一行数据 ```csharp [root@master:~]# sed -n '$p' /etc/passwd devops:x:1000:1000::/home/devops:/bin/sh ``` ### `sed` 过滤内容 示例一：过滤包含root的行 ```csharp [root@master:~]# sed -n '/root/p' /etc/passwd root:x:0:0:root:/root:/bin/bash ``` 示例二：过滤包含root和devops的行 ```csharp [root@master:~]# sed -nr '/root|devops/p' /etc/passwd root:x:0:0:root:/root:/bin/bash devops:x:1000:1000::/home/devops:/bin/sh ``` ### `sed` 替换文件内容 语法： ```csharp sed [选项] 's#源内容#要修改的内容#g' 文件名 选项说明： -i：替换文件 -i.bak：先备份文件为源文件名.bak ``` 示例： ```csharp # 先模拟数据 [root@master:~]# cat>1.txt< huangsir > huangsir > huangsir666 > EOF # 不加-i选项，发现并没有替换文件内容 [[root@master:~]]# sed s#huangsir#root#g 1.txt root root root666 [root@master:~]# cat 1.txt huangsir huangsir huangsir666 # 添加-i.bak进行替换 root@master:~# sed -i.bak s#huangsir#root#g 1.txt root@master:~# ll 1.txt 1.txt.bak -rw-r--r-- 1 root root 18 Apr 17 16:28 1.txt -rw-r--r-- 1 root root 30 Apr 17 16:26 1.txt.bak root@master:~# cat 1.txt root root root666 root@master:~# cat 1.txt.bak huangsir huangsir huangsir666 # 直接修改，不备份 root@master:~# sed -i s#huangsir#root#g 1.txt.bak root@master:~# cat 1.txt.bak root root root666 ``` 示例：分组进行替换 ```csharp root@master:~# echo 123456 | sed -r 's#(12)(34)(56)#\1\2\3#g' 123456 root@master:~# echo 123456 | sed -r 's#(12)(34)(56)#\3\2\1#g' 563412 ``` ### `sed` 删除内容 编辑命令中添加d可以删除文件内容 示例：删除某一行的数据 ```csharp # 删除第一行的数据 sed -i '1d' 1.txt # 删除最后一行的数据 sed -i '$d' 1.txt # 删除前缀为1的行 sed -i '/^1/d' 1.txt ``` ### `sed` 增加文件内容 指令： - c:replace:clean 清空指定行，然后写入内容 - a：apennd,在指定那行下面增加一行 - i：insert，在指定那行上面增加一行 示例：在文件第一行下增加一行数据 ```csharp # 在第一行后追加一行haha数据 sed -i '1a haha' 1.txt ``` ## awk命令 `awk`能够对文本文件进行复杂的分析、处理和格式化操作。与 sed 不同，awk 更适合处理结构化的文本数据，例如带有分隔符的表格数据。 作用：取行、取列、统计与计算 ### 语法 ```csharp awk [选项] '模式 {动作}' 文件名 ``` 常用选项 - -F：指定字段分隔符（默认为空白字符，如空格或制表符）。 - -f：从文件中读取 awk 脚本。 - -v：定义变量的初始值 ### 使用awk取行 awk中内置变量`NR`表示行 示例： ```csharp # 取出第一行的数据 root@master:~# awk 'NR==1' /etc/passwd root:x:0:0:root:/root:/bin/bash # 取出第三行到第十行的数据 root@master:~# awk 'NR>=3 && NR<=10' /etc/passwd bin:x:2:2:bin:/bin:/usr/sbin/nologin sys:x:3:3:sys:/dev:/usr/sbin/nologin sync:x:4:65534:sync:/bin:/bin/sync games:x:5:60:games:/usr/games:/usr/sbin/nologin man:x:6:12:man:/var/cache/man:/usr/sbin/nologin lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin mail:x:8:8:mail:/var/mail:/usr/sbin/nologin news:x:9:9:news:/var/spool/news:/usr/sbin/nologin # 取出包含bash的行 root@master:~# awk '/bash/' /etc/passwd root:x:0:0:root:/root:/bin/bash # 取出包含root和devops的行 root@master:~# awk '/root|devops/' /etc/passwd root:x:0:0:root:/root:/bin/bash devops:x:1000:1000::/home/devops:/bin/sh # 取出文件中指定时间段内的日志 root@master:~# awk '/11:00:00/,/11:10:00/' /acces.log ``` ### awk取列 awk中内置变量`NF`表示列 示例： ```csharp # 取出/etc/hosts文件的第三列、最后一列 root@master:~# awk '{print $3,$NF}' /etc/hosts localhost following hosts ip6-localhost ip6-loopback ip6-allnodes ip6-allrouters iv-ydpkgu0jcwwh2yox8410 iv-ydpkgu0jcwwh2yox8410 # 对齐 root@master:~# awk '{print $3,$NF}' /etc/hosts | column -t localhost following hosts ip6-localhost ip6-loopback ip6-allnodes ip6-allrouters iv-ydpkgu0jcwwh2yox8410 iv-ydpkgu0jcwwh2yox8410 ``` ### awk取行取列 示例：取出`ip a s eth0`的IP地址 ```csharp root@master:~# ip a s eth0 2: eth0: mtu 1500 qdisc mq state UP group default qlen 1000 link/ether 00:16:3e:16:5b:ef brd ff:ff:ff:ff:ff:ff inet 10.3.0.86/20 brd 10.3.15.255 scope global dynamic eth0 valid_lft 310239265sec preferred_lft 310239265sec inet6 fe80::216:3eff:fe16:5bef/64 scope link valid_lft forever preferred_lft forever root@master:~# ip a s eth0 | awk 'NR==3' | awk -F 'inet |/20' '{print $2}' 10.3.0.86 ``` 示例：统计free结果中内存空闲率 ```csharp root@master:~# free | awk 'NR==2{print $NF/$2}' 0.82089 root@master:~# free | awk 'NR==2{print $NF/$2*100"%"}' 82.0729% ``` ### awk计算 大多数情况都可以使用`awk`进行算数运算，`awk`可以进行整数、小数的运算 基础用法示例： ```csharp root@master:~$ awk 'BEGIN{print 1/3}' 0.333333 root@master:~$ awk 'BEGIN{print 2*3}' 6 root@master:~$ awk 'BEGIN{print 3+3}' 6 root@master:~$ awk 'BEGIN{print 4-3}' 1 ``` 携带变量示例 `awk -v`选项用于创建或修改awk中的变量，-v是shell脚本与awk的桥梁 在awk中各种变量直接使用即可，不要加上$，如果加上了会被awk认为是取列 ```csharp root@master:~$ num1=2 root@master:~$ num2=5 root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1/a2}' 0.4 root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1*a2}' 10 root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1+a2}' 7 root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1-a2}' -3 ```