grep

grep指令用于查找内容包含指定的范本样式的文件,如果发现某文件的内容符合所指定的范本样式,预设grep指令会把含有范本样式的那一列显示出来。

grep常用参数:



-B num  : 除了显示符合样式的那一行之外,并显示该行之前的num行内容。before
-A num :除了显示符合样式的那一行之外,并显示该行之前的num行内容。after
-C num:除了显示符合样式的那一行之外,并显示该行之前后num行内容。
-c :计算符合样式的列数
-d 动作: 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。
-e :实现多个选项间的逻辑or关系.
-n :在显示符合样式的那一行之前,标出该行的列数编号,即显示行号;
-E :使用扩展的正则表达式 \egrep。
-i :忽略字符大小写的差别。
-o :只显示匹配的字符串部分。
-v :显示不包含匹配文本的所有行。
-V :显示版本信息
-s :不显示错误信息。


练习:



1.选取出"ip a"命令的ipv4地址
# ip a|grep "\<inet\>"|grep -E -o "[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}"


 



 

sed

 

前言:

1.sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。


2.sed编辑器逐行处理文件(或输入),并将结果发送到屏幕。具体过程如下:




首先sed把当前正在处理的行保存在一个临时缓存区中(也称为模式空间),然后处理临时缓冲区中的行,完成后把该行发送到屏幕上。
sed每处理完一行就将其从临时缓冲区删除,然后将下一行读入,进行处理和显示。处理完输入文件的最后一行后,sed便结束运行。
sed把每一行都存在临时缓冲区中,在缓冲区中对这个副本进行编辑,将处理后的行输出到屏幕上,但不会修改原文件,除非使用-i参数。


3.sed可以对文件进行过滤,也可以进行修改。


4.sed是一种语言,awk是一种语言,bash也是一种语言。


5.sed是对文本一行一行进行处理的,若不加地址定界,或地址定界匹配不带,则默认会一行一行的匹配处理文本内容,直到结束。


 


sed用法:


#sed  [option]   'script'   inputfile....




[option]常用选项:
-n:不输出模式空间内容到屏幕,即不自动打印。
-e:多点编辑。
-f /path/script_file:从指定的文件中读取编辑脚本。
-r:支持使用扩展正则表达式。
-i.bak:备份原文件,备份后在原文件处进行内容修改。(-i.bak是因为sed命令使用-i参数时不会询问,怕改错,有一定的危险性,因此-i.bak是在修改前先备份原文件,然后再修改该文件,一定程度上减少了出错风险。)

'script'即'地址命令':sed自身的语言脚本。
'script'='地址定界 + 编辑命令',若不加地址定界,则默认处理文本中的所有行。
'地址定界:
①不给地址,则对全文进行处理。
②单地址:
# :指定的行; $ :最后一行。
/pattern/ :搜索文本中包含"pattern"的所有行。
③地址范围(哪行到哪行)[#代表行号,/pat/代表比包含有pat的首行]:
#,#
#,+#
/pat1/,/pat2/
#,/pat1/
③~:步进
1~2:奇数行
2~2:偶数行
编辑命令':
d:删除模式空间匹配的行,并立即进行下一轮循环。
p:打印当前模式空间内容,追加到默认输出之后。
a[\]text:在指定文本/行的后面追加text内容。(在该行的下一行追加文本),支持使用"\n"实现多行追加。[\]只是方便辨别,实际命令中并不使用它,只需"a内容"或a\内容。
i[\]text:在指定文本/行前插入text内容。(在该行的上一行插入文本)。[]只是方便辨别,实际命令中并不使用它,只需"i内容"即可,或便于区分可i\text。
c[\]text:替换单行或多行为text内容,c内容,或c\内容。
w /path/somefile:保存模式匹配的行到指定文件中。
r /path/somefile:读取指定文件的内容,至模式空间中匹配到的行的后面。
=:为模式空间中的行打印行号。
!:为模式空间中匹配行取反处理。
'sed工具'
's///':查找替换,支持使用其他分隔符,s@@@,s%%%
替换标记:
g:行内全部替换
p:显示替换成功的行
w /path/to/somefile:将替换成功的行保存至文件中。


练习:原文本内容:



[root@localhost gaokai]# cat test.sh 
function look() {
echo "this is a test4335"
awdadAWDAaaw97979879722aaa
awdadAWDAaaw97979879722aaa

--------------------------------------------
1.打印1,2行模式空间的内容,并追加到默认输出后。
# sed '1,2p' test.sh
function look() {
function look() {
echo "this is a test4335"
echo "this is a test4335"
awdadAWDAaaw97979879722aaa
awdadAWDAaaw97979879722aaa
--------------------------------------------
2.打印1,2行模式空间处理后的内容,不打印原模式空间内容,并输出
# sed -n '1,2p' test.sh
function look() {
echo "this is a test4335"
---------------------------------------------
3.不打印模式空间内容,然后将匹配到的行输出到屏幕上。
# sed -n '/func/,/awd/p' test.sh
function look() {
echo "this is a test4335"
}
awdadAWDAaaw97979879722aaa
----------------------------------------------
4.在第3行行尾添加文本"()_______m",并显示
# sed '3a()_______m' test.sh
function look() {
echo "this is a test4335"
()_______m
}
awdadAWDAaaw97979879722aaa
awdadAWDAaaw97979879722aaa----------------------------------------------5.在第1行前追加文本"_______m",并保存后在原处进行编辑。


   # sed -i.bak '1i_______m' test.sh

   # cat test.sh

  _______m

  function look() {

  echo "this is a test4335"

  awdadAWDAaaw97979879722aaa

  awdadAWDAaaw97979879722aaa

-----------------------------------------------6.删除第2行
# sed '2d' test.sh


  echo "this is a test4335"

  awdadAWDAaaw97979879722aaa

  awdadAWDAaaw97979879722aaa

  -----------------------------------------------

7.更换第1,3行内容为"this is tihuan",并输出
# sed '1,3cthis is tihuan' test.sh


   this is tihuan

   awdadAWDAaaw97979879722aaa

------------------------------------------------
8.在第1至3行后追加"zhui.txt"文本内容,并显示
#cat zhui.txt
----------
----------
#sed '1,3r zhui.txt' test.sh


   function look() {

   ----------

   ----------

   echo "this is a test4335"

   ----------

   ----------

   awdadAWDAaaw97979879722aaa

   ----------

   ----------

   awdadAWDAaaw97979879722aaa

   -----------------------------------------------

  9.替换行内内容,将单词"is"替换为大写"IS"

  #sed  's/\<is\>/IS/' test.sh

    function look() {

    echo "this IS a test4335"

    awdadAWDAaaw97979879722aaa

    awdadAWDAaaw97979879722aaa

   -----------------------------------------------

   10.将/etc/default/grub文件中以"号结尾的行的冒号,替换为xyz"。

  # sed -r 's/("$)/xyz\1/' /etc/default/grub


 



 

awk

 

文本报告生成器,逐行处理。


awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。


awk允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。


 


awk命令样式及工作流程




工作流程
#awk  'BEGIN{action} /pattern/{action} END{action}'  filename


  • 读输入文件之前执行的代码段(由BEGIN关键字标识)。
  • 主循环执行输入文件的代码段。(执行完BEGIN后,开始读取文件,读入有/n换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。)
  • 读输入文件之后的代码段(由END关键字标识)。


如图

Linux常用文本命令:grep、sed、awk 、cut、tr、wc、uniq、sort_sed

 

 

 awk常见使用方式:



#awk   -F"分隔符"   '/pattern/{action}'    filename


练习



1.以":"Wie分隔符,提取/etc/passwd文件的第一列
#awk -F":" '{print $1}' /etc/passwd

2.只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割。
#awk -F":" '{print $1"\t"$7}' /etc/passwd |sed -n '1,2p'

3.显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以"+"分割。
#awk -F":" '{print $1"+"$7}' /etc/passwd|sed -n '1,2p'

4.显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行之前添加行其中列名为name,shell,在最后一行添加"blue,/bin/nosh"。
#cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'

5.搜索/etc/passwd以root单词开头的行,并显示该行的用户名和bash(以空格为分隔符)。
# awk -F":" '/^root\>/{print $1" "$7}' /etc/passwd


 



 

wc命令


利用wc指令我们可以计算文件的Byte数、字数、或是列数,若不指定文件名称、或是所给予的文件名为"-",则wc指令会从标准输入设备读取数据。


在默认的情况下,wc将计算指定文件的行数、字数,以及字节数。


格式:#wc [option] file1...




[option]
-c或--bytes或--chars 只显示Bytes数,字节数。
-l或--lines 只显示行数。
-w或--words 只显示单词数。
--help 在线帮助。
--version 显示版本信息。


 



 

sort命令

 


作用:用于将文本文件内容,以行为单位,加以排序


sort 命令不加任何参数时,将以默认的方式将文本文件的第一列以ASCII 码的次序排列,并将结果输出到标准输出。


格式:#sort [option] 文件




[option]:
-n: 将数值按照从小到大顺序排序。。
-r :以相反的顺序来排序。
-t :指定分隔符,分割列;如-t " ",指定空格为分隔符。配合-k参数
-k : 指定列
-o <输出文件>:将排序后的结果存入指定的文件。


 



uniq

用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用,即去重,如...sort|uniq


uniq不加参数,默认是删除文本中重复的行。


当重复的行并不相邻时,uniq 命令是不起作用的。


格式:#uniq [OPTION]... [INPUT [O UTPUT]]




[opion]
-c或--count :在每列旁边显示该行重复出现的次数。
-d或--repeated: 仅显示重复出现的行。
-u或--unique 仅显示不重复出现行列。
[输入文件] 指定已排序好的文本文件。如果不指定此项,则从标准读取数据;
[输出文件] 指定输出的文件。如果不指定此选项,则将内容显示到标准输出设备(显示终端)。


 



 cut


作用:将行按指定的分隔符分割成多列。它的弱点在于不好处理多个分隔符重复的情况,因此经常结合tr的去重功能。


cut命令主要是接受三个定位方法:




第一,字节(bytes),用选项-b
第二,字符(characters),用选项-c
第三,域(fields),用选项-f
注意:英文和阿拉伯数字是单字节字符,中文是双字节字符,甚至是3字节字符(根据编码而定)。
注意:按字节或字符分割时将不能指定-d,因为-d是划分字段的。


格式:#cut OPTION... [FILE]...




[option]
-b:按字节筛选;
-n:与"-b"选项连用,表示禁止将字节分割开来操作(一般情况下不用,防止-b将多字节的字符强行分割导致乱码);
-c:按字符筛选;
-d:指定字段分隔符,不写-d时的默认字段分隔符为"TAB";因此只能和"-f"选项一起使用。
-f:与-d一起使用,以指定的分隔符为单位,选择显示的列号。
--complement:显示出去-f指定的列的其他列(即显示-f的补集)。
--output-delimiter:指定输出分割符;默认为输入分隔符。
注意:cut分隔符必须是单个字符。


 



 

tr



tr命令:它可以用一个字符来替换另一个字符,或者可以完全除去一些字符。您也可以用它来除去重复字符。


tr用来从标准输入中通过替换或删除操作进行字符转换。tr主要用于删除文件中控制字符或进行字符转换。使用tr时要使用两个字符串:字符串1用于查询,字符串2用于处理各种转换。tr刚执行时,字符串1中的字符被映射到字符串2中的字符,然后转换操作开始。



格式:#tr  [OPTION]... SET1 [SET2]




[option]
-c: 反选设定字符。也就是符合 SET1 的部份不做处理,不符合的剩余部份才进行转换。要求字符集为ASCII。
-s :删除所有重复出现字符序列,只保留第一个;即将重复出现字符串压缩为一个字符串。
-d :删除字符串1中所有输入字符。


SET字符集



指定字符串1或字符串2的内容时,只能使用单字符或字符串范围或列表。
CHAR1-CHAR2 :字符范围从 CHAR1 到 CHAR2 的指定,范围的指定以 ASCII 码的次序为基础,只能由小到大,不能由大到小。
[a-z] a-z内的字符组成的字符串。
[A-Z] A-Z内的字符组成的字符串。
[0-9] 数字串。
[:alnum:] :所有字母字符与数字
[:alpha:] :所有字母字符
[:lower:] :所有小写字母
[:upper:] :所有大写字母
[:digit:] :所有数字
[:xdigit:] :所有 16 进位制的数字

[:blank:] :所有水平空格
[:cntrl:] :所有控制字符
[:graph:] :所有可打印的字符(不包含空格符)
[:print:] :所有可打印的字符(包含空格符)
[:punct:] :所有标点字符
[:space:] :所有水平与垂直空格符


练习



1.将test.sh中的is替换为IS,并追加到a.txt文件中。
# cat test.sh|tr "is" "IS" >a.txt

2.将test中的小写字母转换为大写字母,并追加到a.txt文件中。
# cat test.sh|tr [a-z] [A-Z] >a.txt

注意:不能追加到原文件中,否则原文件会被清空。


 



 


 实例练习(下方的整块都是关于上述命令的练习)


 




1.查看access.log文件有多少个IP访问:
①#awk '{print $1}' access.log|sort|uniq|wc -l

2.查看某一个页面被访问的次数
①#grep "index.php" access.log|wc -l

3.查看每一个IP访问了多少个页面,并按访问次数从小到大排序
①#awk '{++S[$1]} END {for (a in S) print a,S[a]}' accsess.log |sort -n -t " " -k 2
②#awk '{print $1}' access.log|sort|uniq -c|sort -n

4.查看某个IP访问了哪些页面,并进行统计,页面访问次数从小到大排序。
①#awk '{print $1,$7}' access.log|grep 192.168.24.1|sort|uniq -c |sort -n
5.去掉搜索引擎统计的页面,并统计去掉后的访问次数
①#awk '{print $12,$1}' access.log|grep ^\"Mozilla|awk '{print $2}'|sort |uniq|wc -l
6.查看2021年10月27日时这一个小时有多少IP访问。
①#awk '{print $4,$1}' access.log|grep '27/Oct/2021:05'|wc -l
②#awk '{print $4,$1}' access.log|grep '27/Oct/2021:05'|awk '{print $2}'|sort |uniq |wc -l
7.查看访问次数前十的IP地址
①#awk '{print $1}'|sort |uniq -c|sort -nr|head -n10