简介
UNIX 的基本哲学之一就是创建只做一件事并将这一件事做好的程序(或进程)。这一哲学要求认真考虑接口以及结合这些更小(有望更简单)流程的方法,以产生有用的结果。文本数据通常是在这些接口之间流动。多年以来,越来越高级的文本处理工具和语言已经开发出来。从语言上来讲,早期专门处理文本的语言有 perl,后来又出现了 python 和 ruby。虽然这些语言以及其他语言都是非常强大的文本处理器,但这些工具并不是一直可行的,在生产环境下尤其如此。本文将介绍一些基本的 UNIX 文本处理命令,这些命令既可单独使用也可结合使用,可用来解决需要更新的语言才能解决的问题。对许多人来说,与长篇大论的解释相比,实例能够提供更多的信息。请注意,由于有多种可用的 UNIX 和 UNIX 类系统,因此不同实现之间的命令标志、程序行为和输出结果会略有不同。
回页首
使用 cat
cat
命令是最基本的命令之一。这个命令用来创建、追加、显示以及合并文本文件。
我们可以使用 cat
命令创建文件,方法是:使用 ‘>’ 将标准输入 (stdin
) 重定向到文件。使用 ‘>’ 操作符会缩短指定输出文件的内容。在此之后输入的文本会重定向到 ‘>’ 操作符右侧指定的文件。control-d 表示文件结束,将控制权返回给 shell。
使用 cat 创建文件的示例
$ cat > grocery.list |
使用 ‘>>’ 操作符将标准输入追加到现有文件。
使用 cat 追加文件的示例
$ cat >> grocery.list |
使用 cat
命令不加标志,可查看 grocery.list 文件的内容。请注意文件的内容如何包含来自重定向的输入以及追加操作符的示例。
使用无标志 cat 的示例
$ cat grocery.list |
可以使用 cat
命令对文件行进行编号。
使用 cat 计算行的示例:
$ cat -n grocery.list |
回页首
使用 nl
nl
过滤器会从 stdin
或指定文件读取行。输出则会写入 stdout
并重定向到文件,或传到另一个进程中。nl
的行为是由不同命令行选项控制的。
在默认情况下,nl
会计算行数,与 cat -n
的功能类似。
nl 默认用法示例:
$nl grocery.list |
使用 -b 标志指定要进行编号的行。此标志将参数作为 “类型”。该类型告诉 nl
需要给哪些行编号,使用 ‘a’ 给所有行编号,‘t’ 告诉 nl
不对空行和只有空格的行进行编号,‘n’ 指定不编号行。在示例中显示针对模式的类型 ‘p’。nl
给正则表达式模式指定的行编号,在本用例中,是以字母 ‘a’ 或 ‘b’ 开始的行。
使用 nl 对符合正则表达式的行进行编号的示例
$ nl -b p^[ba]grocery.list |
在默认情况下,nl
行号和文本之间使用制表符进行分隔。使用 -s 指定其他分隔符,例如 ‘=’ 号。
使用 nl 指定其他分隔符的示例
$nl -s= grocery.list |
回页首
使用 wc
wc
(wordcount) 命令计算指定文件或来自 stdin
的行数、单词数(由空格分隔)和字符数。
wc 用法示例
$wc grocery.list |
回页首
使用 grep
grep
命令在指定文件或 stdin
中搜索与给定表达式相匹配的模式。grep
的输出由多个选项标志控制。
为了演示,这里新创建了一个文件,与 grocery.list 配合使用。
$cat grocery.list2 |
grep 基本用法示例
$ grep apple grocery.list grocery.list2 |
grep
拥有相当可观的选项标志。下面的示例将演示其中几个选项的用法。
要显示文件名(处理多个文件的情况下)以及发现模式匹配的行数,在本用例中使用的模式是计算每个文件中出现单词 ‘apple’ 的行数。
grep 示例:计算文件中匹配数
$ grep -c apple grocery.list grocery.list2 |
在搜索多个文件时,可以使用 -h 选项取消在输出中显示文件名。
grep 示例:取消在输出中显示文件名
$ grep -h apple grocery.list grocery.list2 |
在很多情况下,需要进行不区分大小写的搜索。grep
命令的 -i 选项可以在搜索时忽略大小写。
grep 示例:不区分大小写
$ grep -i apple grocery.list grocery.list2 |
有些时候,只需要输出文件名,不需要输出模式匹配的行。grep
提供 -l 选项,用于只输出包含匹配模式行的文件名。
grep 示例:只输出文件名
$ grep -l carrot grocery.list grocery.list2 |
行号可以显示在输出中。使用 -n 选项来包含行号。
grep 示例:包含行号
$ grep -n carrot grocery.list grocery.list2 |
有时期望输出与模式不匹配的行。这时就要使用 -v 选项。
grep 示例:输出不匹配行
$ grep -v beans grocery.list2 |
有时,需要的模式是一个单词,两边被空格或其他字符(例如连字符或括号)包围。grep
的多数版本都提供了 -w 选项,能方便地编写此类模式的搜索。
grep 示例:单词匹配
$ grep -w apples grocery.list grocery.list2 |
回页首
流、管道、重定向、tee 和 here docs
在 UNIX 中,一个终端默认包含三个流,一个输入流,两个基于输出的流。输入流称为 stdin
,通常映射到键盘(也可使用其他输入设备,或从其他进程中传入)。标准输出流称为 stdout
,并通常输出到终端上,输出也可供其他进程使用(就像 stdin
一样)。另一个输出流 stderr
主要用作状态报告,通常输出到终端,如 stdout
。这三个流都有各自的文件描述符,每一个流都可以从其他流中传入或重定向,即使是它们全都连接到终端。每个流的文件描述符分别是:
- stdin = 0
- stdout = 1
- stderr = 2
这三个流可以传送或重定向到文件或其他进程。这个构造通常称为 “构建一个管道”。例如,程序员可能想将 stdout
流和 stderr
流合并,然后在终端上显示它们,再将结果保存到文件中以便检查版本问题。使用 2>&1
,stderr
流以及文件描述符 2
会被重定向到&1
(指向 stdout
流)。这样就能有效地将 stderr
合并到 stdout
。使用 ‘|’ 符号表示管道。管道连接左侧进程 (make
) 的 stdout
和右侧进程 (tee
) 的 stdin
。tee
命令会复制(合并)将数据发送到终端以及文件的 stdout
流,在本示例中,称为 build.log。
合并和拆分标准流的示例
$ make –f build_example.mk 2>&1 | tee build.log |
另一个重定向示例,使用 cat 命令和一些流重定向制作文本文件副本。
使用重定向制作备份文件的示例
$ cat < grocery.list > grocery.list.bak |
前面使用 nl
命令为在 stdout
中显示的文件加行号。管道可用于将 stdout
流(来自 cat grocery.list)发送到另外一个进程,在本用例中,是 nl
命令。
简单管道传送到 nl 的示例
$ cat grocery.list | nl |
先前显示的另一个示例是针对模式执行不区分大小写的搜索。这也可以使用重定向来实现(在这本用例中为来自 stdin
或使用管道,与上述简单管道示例相似)。
grep 示例:通过 stdin 重定向和管道
$ grep -i apple < grocery.list2 |
在某些情况下,要将文本块重定向到某个命令或文件中作为脚本的一部分。实现此操作的机制是使用 ‘here document’(或 ‘here-doc’)。要将 here-doc 嵌入到脚本,需要使用 ‘<<
’ 操作符重定向下列文本,直到到达文件结束分隔符为止。在 <<
操作符后指定分隔符。
示例:命令行上的基本 here-doc
$ cat << EOF |
可将此输出重定向到文件,在本示例中,分隔符 ‘EOF’ 改为 ‘!’。然后使用 tr
命令(稍后说明)将 here-doc 中的字母全部变成大写。
示例:将基本 here-doc 重定向到文件
cat << ! > grocery.list3 |
回页首
使用 head 和 tail
head
和 tail
命令用来查看文件的顶部 (head) 或底部 (tail)。要显示文件顶部两行和底部两行,请分别使用这两个命令加 -n 选项标志。相同地,-c 选项显示文件中的前几个或最后几个字符。
示例:head 和 tail 命令的基本用法
$ head -n2 grocery.list |
tail
命令的常见用途就是观察日志文件或者正在运行的进程输出,查看其中是否有问题,或者关注进程何时结束。-f (tail –f
) 选项使 tail 持续观察流,即使是到达文件结束标记也继续观察,并在流包含更多数据时,持续显示输出。
回页首
使用 tr
tr
命令用来转换来自 stdin
的字符,在 stdout
中显示。tr
一般接受两个字符集合,用第二个集合中的字符替换第一个集合中的字符。有许多预定义的字符类(集合)可供 tr
使用,还有其他命令可用。
这些预定义的字符类是:
- alnum:字母数字字符
- alpha:字母字符
- blank:空白字符
- cntrl:控制字符
- digit:数字字符
- graph:图形字符
- lower:小写字母字符
- print:可打印字符
- punct:标点字符
- space:空间字符
- upper:大写字符
- xdigit:16 进制字符
tr
命令够将字符串中的小写字符转换成大写。
tr 示例:将字符串转换成大写
$ echo "Who is the standard text editor?" |tr [:lower:] [:upper:] |
tr
可以用来从字符串中删除指定字符。
tr 示例:从字符串中删除指定字符
$ echo 'ed, of course!' |tr -d aeiou |
使用 tr
将字符串中任何指定字符转换成空格。在序列中遇到多个指定字符时,它们会转换成一个空格。
-s 选项标志的行为在不同系统中表现不同。
tr 示例:将字符转变成空格
$ echo 'The ed utility is the standard text editor.' |tr -s astu ' ' |
-s 选项标志可以用来取消字符串中多余的空格。
$ echo 'extra spaces – 5’ | tr -s [:blank:] |
在基于 UNIX 和 Windows 系统之间转换文件时发生的常见问题就是行分隔符 (line delimiters)。在 UNIX 系统中,行分隔符为一个换行符,而在 Windows 系统中,则是用两个字符(即一个回车符和一个换行符)。使用 tr
配合某种重定向,可以解决这个格式问题。
tr 示例:消除回车符
$ tr -d '\r' < dosfile.txt > unixfile.txt |
回页首
使用 colrm
使用 colrm
,可以从流中剪切出文本列。在第一个示例中,使用 colrm
命令从管道的每行文本中剪切出第 4 列到行尾。然后,将同一个文件发送至 colrm
,以删除第 4 列到第 5 列。
使用 colrm 删除列的示例
$ cat grocery.list |colrm 4 |
回页首
使用 expand 和 unexpand
expand
命令将制表符变成空格,而 unexpand
将空格变成制表符。这两个命令都接受 stdin
输入以及命令行指定文件的输入。使用 -t 选项可以设置一个或多个制表符停止位。
expand 和 unexpand 示例:
$ cat grocery.list|head -2|nl|nl |
回页首
使用 comm、cmp 和 diff
为了演示这些命令,要新建两个文件。
新建演示文件:
cat << EOF > dummy_file1.dat |
diff
命令会对两个文件进行比较,报告两者之间的不同之处。diff
可接受多种选项标志。在下面示例中,首先显示默认的 diff
,然后是使用 -w 选项的 diff
忽略空格,并以使用 -i 选项标志在比较中忽略大小写区别而结束。
diff 命令的示例
$ diff dummy_file1.dat dummy_file2.dat |
comm
命令会对两个文件进行比较,但比较的方式与 diff 差别很大。comm
产生三列输出,仅出现在第 1 个文件(第 1 列)的行,仅出现在第 2 个文件(第 2 列)的行,两个文件中都有的常见行(第 3 列)。可使用选项标志来取消输出列。此命令可能在取消第 1 列和第 2 列时最有用,只显示两个文件中常见的行,如下所示。
comm 命令示例
$ comm dummy_file1.dat dummy_file2.dat |
cmp
命令也会对这两个文件进行比较。但是,与 comm
或 diff
不同,cmp
命令(默认)报告这两个文件刚开始不同的字节和行号。
cmp 命令示例
$ cmp dummy_file1.dat dummy_file2.dat |
回页首
使用 fold
使用 fold
命令可以将行拆分为指定的宽度。这个命令最初是用来对无法支持换行的定宽输出设备进行文本格式化。-w 选项标志允许使用指定行宽,而不是只使用默认的 80 列。
使用 fold 示例
$ fold -w8 dummy_file1.dat |
回页首
使用 paste
paste
命令用来合并文件,将每个文件的记录逐一合并。利用重定向,可以通过将一个文件中的每个记录与另一个文件的记录合并,来新建文件。
新建演示文件:
cat << EOF > dummy1.txt |
paste 示例:来自多文件的行
$ paste dummy1.txt dummy2.txt grocery.list |
-s 选项标志用来一次处理多个文件(连续地),而不是并行处理。请注意,下面的列与上面示例中的行合并。
paste 示例 2:来自多文件的行
$ paste -s dummy1.txt dummy2.txt grocery.list |
如果只指定一个文件,或者 paste
正处理 stdin
,输入会默认显示在一个列中。使用 -s 选项标志,输出会显示在一个行中。由于输出缩减到一行,所以使用分隔符来分隔返回的域(默认的分隔符是制表符)。在本示例中,使用 find
命令寻找 64 位库所在的目录,然后构建一个合适的路径,附加到变量 $LD_LIBRARY_PATH 中。
paste 示例:使用分隔符
$ find /usr -name lib64 -type d|paste -s -d: |
回页首
使用 bc
在 Shell 上进行算术计算的简易方法是使用 bc
(“basic calculator” 或 “bench calculator”)。有些 shell 自带了算术计算功能,有些则依靠 expr
对表达式进行运算。使用 bc
,计算可以在不同的 Shell 和 UNIX 系统间移植,只要注意不同厂商的扩展即可。
bc 示例:简单计算
$ echo 2+3|bc |
bc
不仅可以执行这些简单计算。它是一个解释器,有自己内部的和用户自定义的函数、语法和流程控制,就像编程语言一样。在默认情况下,bc
在小数点右侧不包含任何数字。要提高输出的精度,需要使用特殊的 scale
变量。如示例所示,bc
支持大数字,可实现更长的精度。使用 obase
或 ibase
可以控制输入和输出数字的转换基础。在下面的示例中:
- obase
改变默认的输入基(10 进制),将结果转变成 16 进制 - 对于 2 的平方根,scale
指定了小数点右侧的数字个数 - 求 2 的 128 次方演示了对大数字的支持
- 调用内部函数 sqrt()
计算 2 的平方根 - 在 ksh
中,计算和输出百分比
bc 示例:更多计算
$ echo "obase=16; 2^8-1"|bc |
bc
的手册页面中有详细说明,并有相关示例。
回页首
使用 split
split
命令的一大作途就是将大型数据文件分解成小的文件以方便处理。在本示例中,BigFile.dat 经 wc
命令统计有 165782 行。-l 选项标志规定了 split
为每个输出文件生成的最大行数。split
支持为输出文件名指定前缀,例如下面的示例指定 BigFile_ 为前缀。其他选项支持后缀控制,在 BSD 系统上的 -p 选项标志支持按正则表达式进行拆分,就像 csplit
(上下文拆分)命令一样。更多信息请参阅手册页面。
split 示例:
$ wc BigFile.dat |
回页首
使用 cut
cut
命令用来 "裁剪" 文件中以列为基础小节或从 stdin
传送而来的数据。它可按字节 (-b)、字符 (-c) 和列表指定的域 (-f) 进行修剪。使用逗号分隔列表和连字符指定域列表或字节/字符位置。如果只需要输出一个位置或域,则直接指定位置或域即可。可以使用连字符指定一系列域,例如 1-3 输出 1-3 域(或位置),-2 从行开始前两个域(或字节/字符)开始输出,3- 则让 cut
从域(或位置)3 开始输出到行尾。多个域之间以逗号分隔。其他有用的标志有:-d 指定域分隔符,-s 取消没有分隔符的行。
cut 示例
$ cat << EOF > dummy_cut.dat |
回页首
使用 uniq
uniq
命令通常用来惟一地列出输入源(通常是文件或 stdin
)中的行。要正确操作,重复的行必须连续放置于输入中。uniq
命令的输入通常会进行排序,因此重复的行会进行合并。与 uniq
命令搭配使用的两个常用标志是:-c 输出每行出现的次数,-d 用来显示重复行的一个实例。
uniq 示例
$ cat << EOF > dummy_uniq.dat |
回页首
使用 sort
要按指定顺序对 stdin
或文件的内容排序,例如按字母顺序或数字顺序,则可以使用 sort
命令。在默认情况下,sort
的输出写在stdout
中。LC_ALL、LC_COLLATE 和 LANG 等环境变量可以影响 sort
及其他命令的输出。请注意,示例文件显示了 2 个分离的重复记录,一个重复是 IBM,另一个重复是空行。
sort 示例:默认行为
$ cat << EOF > dummy_sort1.dat |
sort
有一个非常强大的标志,在多数情况下可以代替 uniq
命令。-u 选项标志对文件进行排序,删除重复行,以生成一个只包含惟一行的输出清单。
sort 示例:惟一排序
$ sort -u dummy_sort1.dat |
有时,希望将输入倒序输出。在默认情况下,sort
按从小到大(数字)和字符数据的字母顺序排序。使用 -r 选项标志可以将默认排序倒过来。
sort 示例:倒序排序
$ sort -ru dummy_sort1.dat |
不同情况下,可能要求根据某种域或 “键” 对文件进行排序。幸运的是,sort
的 -k 选项标志支持按位置指定排序键。域之间默认以空格分隔。
sort 示例:按键排序
$ sort -k2 -u dummy_sort1.dat |
如果需要区分大小写,sort
的 -f 选项标志可以在进行比较时忽略大小写。在结合如下所示的多个标志时,有些版本的 UNIX 需要用不同的顺序指定这些标志。
sort 示例:不区分大小写排序
$ sort -k2 -f -u dummy_sort1.dat |
以上的排序均是对字母的排序。如果需要按数字顺序对数据排序,则要使用 -n 选项标志。
sort 示例:按数字排序
$ sort -n -k3 -u dummy_sort1.dat |
有些输入可能不使用空格而是使用字符在行中区分域。使用 -t 选项标志指定非默认分隔符,例如逗号。
sort 示例:使用非默认分隔符对域排序
$ sort -k2 -t"," -un dummy_sort1.dat |
回页首
使用 join
凡是熟悉数据库查询编写的人,都认得 join
命令这个实用工具。与多数 UNIX 命令一样,这个命令的输出也显示在 stdout
中。要将文件连接 (“join”) 在一起,请逐行比较来自两个文件中指定的域。如果没有指定域,join
则会从每一行的开始进行域区匹配。默认域分隔符是空格(有些系统使用一个空格,有的则使用相邻多个空格)。找到域匹配后,会根据域匹配的两行输出一行结果。要得到合理的结果,每个文件都应该按照匹配的域进行排序。各个系统实现 join
的方式略有不同。
本示例使用 -t 指定域分隔符,并演示了在逗号分隔的第一个域(默认)上对两个文件进行连接。数据库操作人员将其看作是内部连接,只显示匹配的行。
join 示例:使用非默认域分隔符
cat << EOF > dummy_join1.dat |
要指定在每个文件中 “连接” 哪个域,可以使用 -j[1,2] x 选项标志(或者只使用 -1 x 或 -2 x)。选项标志 -j1 2 或 -1 2 指定第 1 个文件的第 2 个域,第 1 个文件是命令中列出的第一个文件。本示例将演示如何根据第 1 个文件的第 1 个域和第 2 个文件的第 2 个域连接文件,这个连接也是内部连接,只连接匹配的行。
join 示例:指定域
$ join -t, -j1 1 -j2 2 dummy_join3.dat dummy_join1.dat |
与数据库相关示例概念一致,可以用标志实现一个左外连接 (left outer join)。左外连接包含左侧第一个文件或表中的所有行以及第二个文件或表中的匹配行。使用 -a 可以包含指定文件中的所有行。
join 示例:左外连接
$ join -t, -a1 dummy_join1.dat dummy_join2.dat |
全外连接包含两个文件或表中的所有行,并不关心域是否匹配。可以使用 -a 选项标志指定两个文件来实现全外连接。
join 示例:全外连接
$ join -t, -a1 -a2 -j1 2 -j2 1 dummy_join1.dat dummy_join3.dat |
回页首
使用 sed
sed
流编辑器 (stream editor) 是个有用的文本解析和操作实用工具,可以方便地进行文件或数据流的转换。它一次一行地读取文本,在文本行中应用指定的命令。默认输出到 stdout
。sed
使用的命令可以执行多种操作,如删除缓冲区的文本、将文本附加或插入到缓冲区、写入到一个文件中,以及根据正则表达式转换文本等。
sed
替换的基本示例显示使用 -e 选项标志来指定表达式或编辑文本。在一个 sed
执行中可以指定多个表达式或编辑文本。请注意 sed
文本编辑的组件。文本编辑开始的 “s” 代表这是个替换命令。使用 “/” 作为分隔符,先指明要替换的 “IBM”。接下来,替换模式出现在两个 “/” 分隔符之间。最后,“g” 指明在当前文本缓冲区中进行全局修改。本示例的第三个演示解释了三个文本编辑的组合:用斜杠代替反斜杠,用下划线代替空格,以及删除冒号(请注意其中反斜杠 “\” 字符的转义表示方式)。
sed 示例:基本替换/多个编辑文本
$ echo "IBM 174.99" |sed –e 's/IBM/International Business Machines/g' |
在下面的示例中,将创建一个文件来演示 sed
的另外一个特性。除了替换之外,筛选也是 sed
常用的功能。UNIX 的 grep
命令是常用的筛选器,在命令行上发现多种文本操作方式很常见。本示例将演示如何使用 sed
删除命令删除以 “#” 或以空格加 “#” 开始的行。同时还列出了采用相同模式的 grep
示例以作参考。
sed 示例:筛选
cat << EOF > dummy_sed.txt |
为了更好地理解 sed
行为,这里要多演示几个模式。为了让这些模式有文本可处理,还新建了一个文件。第一个 sed
模式显示了如何从文件列出的字符串(文件名)中删除最后 4 个字符。接着,该模式删除圆点 (“.”) 右侧的全部字符,即文件扩展名。还列出一个删除空行的模式。特殊字符 “&” 允许在输出中使用搜索模式。在本示例中,IBM 是输入模式的一部分,并使用 “&” 将其指定为输出的一部分。本系列最后展示的一个模式显示了如何使用 sed
删除从基于 Windows 系统上传输过来的文本文件的回车符。 要在命令行向脚本中输入 “^M”,请先按 control-v,再按 control-m。请注意,终端的特征可能影响 control-v、control-m 组合的输入。
sed 示例:更多模式
cat << EOF > filelist.txt |
sed
命令可以在指定的地址范围内操作。下面的示例显示了一些 sed
可以控制的寻址方式。“-n” 选项标志取消 sed
将每行输入显示在输出的默认行为。在第一个示例中,sed
在文件第 4 行到第 7 行上操作。请注意其中如何只显示文件最先列出的表行(行 4 到 7)。接下来,sed
只显示文件中的第一行和最后一行。有些版本的 sed
支持使用模式来指定在命令上应用地址范围。请注意在输出中,只是从表中删除了逗号,并未在注释中删除。
sed 示例:地址范围
cat << EOF > dummy_table.frag |
表达式内的模式可以进行分组,并引用在输出中。在许多环境中,这种做法很有用,例如在进行值交换或使用位置变量时。括号用来在表达式中标记出模式,必须用反斜杠 \ 转义(模式 \)。在表达式其他地方使用 \n 引用模式,其中 n 是模式在标记模式中的顺序号。将表达式分解后,可以更容易理解它的工作方式:
模式 | 注解 |
| |
| |
| |
sed 示例:分组模式
cat << EOF > sed_chown_example.txt |
回页首
使用 awk
awk
程序是个方便的文本操作工具,执行的工作包括文本的解析、筛选和简易格式化。它的输入来自 stdin
或文件,默认在 stdout
上显示输出。awk
有不同的发行版,并使用不同的名称,例如 nawk
和 gawk
。不同版本和供应商提供的 awk
其行为也各不相同。awk
与本文介绍的其他命令不同,因为它是一个编程语言。该语言内置算术、字符串操作、流程控制以及文本格式化的函数。程序员也可以自己定义函数,创建用户自定义函数库或独立脚本。因为 awk
包含的特性如此之多,所以这里只演示少量的示例。欲了解更多信息,请参阅 参考资料 小节或手册页面。
在本示例中,首先将 awk
作为筛选器,只输出 Linux 系统上的完整文件系统。在默认情况下,awk
使用空白来识别各个列。该示例检查了第 5 列,因为此列显示的是磁盘已用空间百分比。如果磁盘利用率是 100%,则第一个示例会在 stdout
中输出记录。接下来的语句对第一个示例做了扩展,对消息进行格式化,可能要在电子邮件中发送,或者放在消息中写入日志文件。接下来的示例显示如何创建一个使用数值比较的匹配。
awk 示例:筛选器
$ df –k |
有时,数据不是用空白分隔的。例如 /etc/passwd 文件就是用冒号 “:” 分隔的。本示例显示了 awk
如何使用 -F 标志输出 /etc/passwd 中前 5 个条目的用户名和 UID。接下来,将通过输出 /etc/passwd 文件中第 1 列的前 3 个字符来展示 awk 的 substr()
函数。
awk 示例:域分隔符/字符串函数
$ cat /etc/passwd |awk -F: '{printf("%s %s\n", $1,$3)}' |head -5 |
很多时候,系统管理员或程序员会编写自己的 awk
脚本来执行某种作业。下面示例为 awk
程序求文件中第 3 列中发现的数字的平均值。这个计算是通过手动将第 3 列数据添加到汇总变量中。NR 是一个特殊的内部变量,awk
用它来跟踪已经处理的记录数量。将总汇变量除以 NR,就得到了第 3 列的平均值。该程序会显示中间结果和数据,所以很容易理解其中的逻辑。
awk 示例:程序/算术
cat << EOF > dummy_file2.dat |
回页首
基于 Shell 的字符串操作
Shell 可以是强大的编程语言。与 awk 一样,Shell 提供了丰富的选项来执行字符串操作、算术功能、数组、流程控制,以及文件操作。下面的几个示例将显示如何从某一方提取字符串的各个部分。此操作并不改变字符串的值,只是提取出需要的结果,通常用来对变量赋值。使用百分号 “%” 截断模式的右侧,并用 “#” 号截断模式的左侧。
Shell 脚本的示例:字符串提取
$ cat string_example1.sh |
例如,系统管理员可能需要将一批 .jpg 文件的扩展名全部修改成小写字母。因为 UNIX 服务器区分大小写,而有些应用程序可能要求小写扩展名,也有可能管理员只是想将文件扩展名标准化。手动或通过 GUI 界面修改大量文件可能需要几小时才能完成。下面的 shell 样例脚本显示了解决这一问题办法。该示例由两个文件组成。第一个是 setup_files.ksh,用来创建样例目录树并使用一些文件填充树。它还创建了需要修改扩展名的文件列表。第二个脚本 fix_extension.ksh 读取该文件列表,修改文件的扩展名。作为 mv
命令的一部分,% 字符串操作符用来截断文件名最后一个圆点 “.” 右侧的字符(截断扩展名)。在运行之后,两个脚本还使用 find
命令显示成果。
Shell 脚本示例:修改文件扩展名
$ cat setup_files.ksh |
本着创建有用可重用工具的精神,应该将修改文件扩展名的示例做得更通用。想到的一些改进有:传递进要修改的文件名称流,例如通过管道传递。可添加选项标志来指定要修改的文件扩展名(例如 .mp3 或 .mov),并指定如何格式化文件扩展名(例如大写、小写,或大小写混合)。可能性只受程序员的想象力和时间的限制。
回页首
结束语
UNIX 提供了各种以本机方式进行文本解析的工具,在很多情况下,不需要依赖那些系统上可能没有安装的特殊解释器。本文只是宽泛地介绍了各种命令,并未对其用途进行深入探讨。本文中只对命令进行了部分演示,各个系统上实现的标志或行为可能会各有所异。UNIX 提供了更多命令和方式来实现这些相同的任务,“有不止一种的方式来完成任务”。
参考资料
学习
- 请参阅 高级 Bash 脚本编写指南:操作字符串,了解更多 bash 脚本编写的内容。
- 数据库 连接 详解。
- 请访问 sed $HOME 页面,了解相关信息。
- 了解有关 Sed 的更多信息。
- 了解如何使用 UNIX 流编辑器 sed。
- Gawk:高效 AWK 编程:阅读 GAWK 的标准用户手册。
- 了解以下教程的更多内容:Awk:Bruce Barnett 所做的介绍和教程。
- 阅读有关 awk 简介。
- The Open Group Base Specifications Issue 7 (awk)
- UNIX 编程艺术
- AIX and UNIX 专区:developerWorks 的“AIX and UNIX 专区”提供了大量与 AIX 系统管理的所有方面相关的信息,您可以利用它们来扩展自己的 UNIX 技能。
- AIX and UNIX 新手入门:访问“AIX and UNIX 新手入门”页面可了解更多关于 AIX 和 UNIX 的内容。
- AIX and UNIX 专题汇总:AIX and UNIX 专区已经为您推出了很多的技术专题,为您总结了很多热门的知识点。我们在后面还会继续推出很多相关的热门专题给您,为了方便您的访问,我们在这里为您把本专区的所有专题进行汇总,让您更方便的找到您需要的内容。
- AIX and UNIX 下载中心:在这里你可以下载到可以运行在 AIX 或者是 UNIX 系统上的 IBM 服务器软件以及工具,让您可以提前免费试用他们的强大功能。
- IBM Systems Magazine for AIX 中文版:本杂志的内容更加关注于趋势和企业级架构应用方面的内容,同时对于新兴的技术、产品、应用方式等也有很深入的探讨。IBM Systems Magazine 的内容都是由十分资深的业内人士撰写的,包括 IBM 的合作伙伴、IBM 的主机工程师以及高级管理人员。所以,从这些内容中,您可以了解到更高层次的应用理念,让您在选择和应用 IBM 系统时有一个更好的认识。