cat     <-- 显示文件的全部内容,连接多个文件

head    <-- 获取文件头部的内容

tail    <-- 获取文件尾部的内容

grep    <-- 在文件中查找特定的内容

sed     <-- 强大的流编辑器,能做增加、删除、改动等操作

awk     <-- 模式扫瞄和处理工具,是一门语言

cut     <-- 从行中抽取部分内容

wc      <-- 计算数据的字节数,字符数,单词数,行数

sort    <-- 排序工具

uniq    <-- 去除重复工具

tr      <-- 对字符做转换,删除,缩减操作

tac     <-- 把文件中的内容按行号反序打印。

rev     <-- 把文件中的行左右反转




cat, concatinate,把一个或者多个文件的内容按顺序连接起来,输出到标準输出。


cat 12.pub              <-- 显示文件 12.pub 的内容到屏幕上

cat -n 12.pub           <-- 显示文件的内容,并且加上行号

cat -A file             <-- 同时打印出一些不可见的字符和位置标记


# 合并文件

cat 12.pub 13.pub 14.pub 15.pub > /home/czl/.ssh/authorized_keys

cat /etc/* | wc -c




head, 读取文件的头部


head -n 3 /etc/passwd       <-- 读取文件/etc/passwd 的前面三行

head -c 3 /etc/passwd       <-- 读取文件/etc/passwd 的前面三个字节

head -c 10m /dev/zero > f1  <-- 创建一个10M的文件

head -n -1 file             <-- 丟弃 file 的最后一行

head -c -3 file             <-- 丟弃 file 的最后3 个字节




tail, 读取文件的尾部


tail -n 3 /etc/passwd       <-- 读取文件/etc/passwd 的后面三行

tail -c 3 /etc/passwd       <-- 读取文件/etc/passwd 的后面三个字节

tail -n +28 /etc/passwd     <-- 从第28行开始读取,直到文件尾部(丟弃头部的27行)

tail -c +28 /etc/passwd     <-- 从第28字节开始读取,直到文件尾部(丟弃头部的27字节)

tail -f /etc/passwd         <-- 跟踪文件尾部内容的变化,常用来观察日志文件的变化,非常实用




grep, 从文件中抽取符合某种格式的行


常用选项:

-i          <-- 忽略大小写

-l          <-- 输出符合条件的文件名

-n          <-- 显示匹配记录的行号

-c          <-- 输出匹配的记录的总数

-o          <-- 输出匹配的那部分,而不是整行

-w          <-- 匹配单词的边界

-E          <-- 使用扩展的正则表达式

-A          <-- 输出下文(after)

-B          <-- 输出上文(before)

-C          <-- 输出上下文(context)

-R          <-- 递归,用于搜索目录下的文件

-q          <-- 不输出结果,常用于条件测试

-v          <-- 显示不符合条件的结果


操练grep


1. 把/etc/passwd 中包含nobody 的行列出来

2. 把/etc/passwd 中的nobody 列出来

3. 把/etc/passwd 中的nobody 列出来,不区分大小写

4. 用root 身份查找,/etc/sysconfig 目录里面,哪个文件包含了字符串AUTOSWAP

5. 找出/etc/passwd 文件中bash 所在的行的行号

6. 找出/etc/passwd 中有多少个nobody,不区分大小写

7. 找出/etc/passwd 文件中有多少行包含了单词bin

8. 打印出/etc/passwd 文件中包含gdm 的行,同时打出其下面2行

9. 找出/etc/passwd 中不包含bash 的行




sed, 流编辑器,常常用于脚本中


基本格式包含以下部分:

1. 指定范围,不明确指定的话,默认是所有的行,可以是行号,或者正则表达式

2. 指定动作,常用的有d, s, p, i, a

    d: delete, 删除

    s: substitute, 替换

    p: print, 打印

    i: insert, 在前面插入

    a: append, 在后面添加



示范:


删除某些行 (3d)

替换某些字符 (s/abc/ABC/)

删除某些字符(删除就是替换成空, s/abc//)

只输出某些行 (-n 3,10p)

在某行的前面添加一行 (3i)

在某行的后面添加一行 (3a)

通过管道随意插入添加 ( sed -e 1i xxx -e 3i yyy)



关于替换命令的分割符的选择


命令 sed 's/a/A/' 中 sed 执行了替换动作,把第一个小写a 替换成大写A,在这里,分隔符斜杠/ 可以换成任何其它的字符,需要注意的是,如果需要处理的数据中包含了分隔符,就必须对该字符进行转义,举例如下:


把字符串 "/etc/passwd" 中的斜杠替换成下划线,可以有两种做法


1. 斜杠前面必须有一个分斜杠用来转义

[czl@mob ~]$ echo /etc/passwd | sed 's/\//_/g'

_etc_passwd                            ^^


2. 使用別的分隔符,这样就没有必要对斜杠进行转义,命令书写更简洁

[czl@mob ~]$ echo /etc/passwd | sed 's#/#_#g'

_etc_passwd


替换动作的范围

s/a/A/          <-- 替换第一个a

s/a/A/g         <-- 替换所有a

s/a/A/3         <-- 替换第3个a

s/a/A/3g        <-- 替换第3个至最后一个a


sed 的常用选项


-n              <-- 关闭默认的输出动作

-r              <-- 使用扩展的正则表达式,使用这个参数后

                    正则表达式的表示方法会更加方便,推荐使用


下面两条命令是等价的,但是启用了扩展正则表达式的命令更加简单易读

sed '/^.\{5\}ROOT/d' file

sed -r '/^.{5}ROOT/d' file


-i              <-- sed 默认是把修改后的数据输出到标準输出,不会修改原文件

                    加上-i参数后,sed就会直接把修改结果写入原文件,小心!




awk, 比较常用的功能就是按照某个分割符分割一行数据,并输出某些字段(列)


常用的选项:

-F            <--- 字段分割符,可以是一个字符,也可以是多个字符


字段的表示方法:

$0      <--- 整条记录

$1      <--- 第1列(字段)

$2      <--- 第2列(字段)

$n      <--- 第n列(字段)

$NF     <--- 最后一个列


awk 常用的内部变量

FS, Field separator, 字段分割符。字段分割符除了可以通过命令行选项 -F 来指定外,还可以在awk 里面指定


NR, number of records, 到当前行为止,总共处理的行数




cut, 功能类似於awk,但是没有awk那么强大和复杂,当要对数据做分列输出时,经常使用awk,用cut的时候不多。


常用选项

-d          <-- 定义字段的分割符,默认是TAB (delimeter)

-f          <-- 输出指定的字段 (field)

-b          <-- 输出指定位置的字节(byte)

-c          <-- 输出指定位置的字符(character),有別於-b




wc, 计算数据的字节数,字符数,词数,行数


常用选项

-c          <-- 计算字节数

-m          <-- 计算字符数

-w          <-- 计算词数

-l          <-- 计算行数




sort, 按行对文件进行排序


常用选项

-u          <-- 去除重复的行

-n, -h      <-- 按照数值排序

-t          <-- 指定分割符

-k          <-- 指定排序的字段

-r          <-- 反过来排序


把文件按照大小排序:

ls -l | sort -k5,5nr



uniq, 去除连续的重复行


常用选项

-c          <-- 计算重复行的数目




tr, 转换,删除,缩减相同字符


常用选项

-d

-s




tac, 把一个或者多个文件的内容按顺序连接起来,输出到标準输出,每个文件中,内容按行号反序打印。




rev, 把文件中的行左右反转