第一章 背景知识

软件工具的原则

  • 一次做好一件事

这个原则的结果自然就是会不断产生出更小、更专用于特定功能的程序。

  • 处理文本行,不要处理二进制

文本行可以用任何文本编辑器来编辑,也可以在网络与各种机器架构之间传输。
二进制是平台相关的。

  • 使用正则表达式

使用正则表达式能简化命令脚本的工作。
POSIX标准提供两种正则表达式:BRE(与grep一致的正则表达式)和ERE(与egrep一致的)。

  • 默认使用标准输入/输出

在未明确指定文件名时,程序默认从标准输入读取数据,将数据写到标准输出。
这样可以轻松地让它们成为数据过滤器,组成复杂的管道或脚本。

  • 避免喋喋不休

不要将“开始处理”,“即将完成”,“处理完成”这类信息放进程序的标准输出。
将这样的信息送往管道,别指望执行结果会像预期的一样。在工具程序的世界里,
没有消息就是好消息。

  • 让工具去做困难的部分

虽然Unix程序并非完全符合你的需求,但是现有的工具或许可以为你完成90%的工作。
接下来可以编写一个功能特定的小型程序来完成剩下的工作。

第二章 入门

  • 脚本中的引用命令使用绝对路径

  • 每一个空格都能影响结果

  • #!/bin/sh可以避免某种程序的欺骗***

  • ";"分号,可以分隔同一行里的多条命令

  • "&"代表后台运行,并且此后的命令不用等待它完成。

  • 父 Shell将等待子Shell 的所有相关程序完成后,才继续执行

  • 变量赋值的时候"="前后没有空格,引用的时候在变量前面加 $ 当赋值
    m衧空格的时候请加上引号

  • echo -n 会忽略结尾的换行符,但是echo版本上存在差异不建议过多使用。

  • printf "Hello $s !/n" World,几乎复制了c中printf的所有功能

  • ctrl+D,也就是符号 "^D", 代表文件结尾

  • < 改变标准输入,只限于两个程序之间

  • > 改变标准输出,只限于两个程序之间

  • >> 追加到文件

  • pro1 | pro2 将 pro1 的标准输出重定位到pro2 的标准输入。管道符可以多个程序相连

  • tr足极其简化的sed,他所能完成的任务sed都能,反之则不行。

  • /dev/null即是位桶文件(bit bucket),类似垃圾桶,读取返回文件结束符

  • /dev/tty 会重定向到终端,读取人工输入时有用

    printf "Enter password:"
    stty -echo #关闭冋显
    read pass    printf "Enter password again:"
    read pass
    stty echo #打幵回显
  • $PATH中加入 "." 可以包含当前目录,不过不安全

  • $1 代表第一个参数,大于9就要用括号.,比如$(10)

    cat >finduser#!/bin/shwho | grep $1^D
    finduser aaron
  • Shell将忽略#开头的一行,注释 。

  • Shell脚木里set +x 会打开执行跟踪,set -x 关闭跟踪。

  • Shell里特殊字符称作元字符(metacharacter)

第三章 查找与替换

  • [] 内的 "^" 表示取反

  • [0-9a-zA-F】,范围表示不建议在新程序里运用。

  • "a/{5/}"表示重复5个a,"q/{10,42/}"表示10到42个q

  • 正则表达式中"^"表示开头,"$" 表示结尾 "^$" 表示空行。另外 "grep -v" 显示不匹配的结果

  • "ab?c" 匹配ac或者abc

  • "ab+c" 等同于 "abb*c",匹配 abc,abbc...,但不匹配 ac

  • "sleep|wakeup|idle" 匹配 sleep,wakeup,idle。注意 | 优先级最低。

  • "[Tt]he(computer|PC)is" 匹配 The 或者 the 和 is 之间出现 computer 或
    PC的句子。

  • "/<" 和 "/>" 用来匹配单词,可以分开使用。

  • grep 是 ed (商用unix上的vi)中 "g/re/p" 的缩写,意思是全局匹配并打印。 ed也是sed的基础。

  • tr 是极其简化的 sed。"tr -c -d -s [string_to_translate_from] [string_to_translate_to] < input_file"

  • sed与空字符串,匹配最长子串,awk也是。意思就是匹配满足条件的从左到右最长的一段

  • grep和sed的绝大部分是用来处理行(line)。awd,perl及Python处理字符串(string)

  • cut 用来剪下数据,join用来连接数据,sort用来排列数据。(以Tab分隔
    的数据)
    awk -F: '{print "User", $1, "is really", $5}' /etc/passwd

第四章 文本处理

  • sort (排序)属于UNIX前十名主要的命令

  • uniq删除排序后的重复行

  • wc计算字数,行数,字节数

  • head和tail显示文件头和尾

第五章 管道的神奇魔力

  • $$表示进程号

  • trap用来捕捉信号,并执行命令。格式如: trap [-lp] [arg] [sigspec ...]

第六章 变量判断秉复动作

  • export用于修改和打印环境变量,readonly使其不能修改。

  • env 用来改变环境变量

  • unset用来删除当前Shell的变量和函数

  • 未定义的变量会展开为NULL,随意操作将会引发异常。

  • ${varname:-val}如果varname存在并不是null,将返回varname,否则返回val
    ${varname:=val}如果 varname 存在并不是 null,将返回varname,否则赋值为val并返回val。
    ${vamame:?val}如果 varname 存在并不是 null,将返回varname,否则显示varname:val。
    ${varname:+val}如果varname存在并不是null,将返回val,否则返回null。
    如果去掉冒号,则表示存在,可以是null。

  • "$#" 参数的总数,$*,$@。shift截掉$1后,$2变成$1,类推。。。

  • 通用的变量(前面加上 $ 将引用变量)。# 参数个数,

  • 每一条命令,不管是内置的Shell命令,还是外部的。当他退出时,都会返回一个小的整数给调用它的函数。0表示成功。

  • exit从Shell脚本返回一个退出状态给调用者

  • &&逻辑与,if...then...。|| 逻辑或,ifnot...then...。

if ....; then....elif ....; then....else....fi

参数说明:


[ -f "somefile" ] 判断是否是一个文件
[ -x "/bin/ls" ] 判断/bin/ls是否存在并有可执行权限
[ -n "$var" ] 判断$var变量是否有值
[ "$a" = "$b" ] 判断$a$b是否相等
-r file     用户可读为真
-w file     用户可写为真
-x file     用户可执行为真
-f file     文件为正规文件为真
-d file     文件为目录为真
-c file     文件为字符特殊文件为真
-b file     文件为块特殊文件为真
-s file     文件大小非0时为真
-t file     当文件描述符(默认为1)指定的设备为终端时为真


  • 条件判断中方括号里的参数必须有引弓。

  • 条件判断只能做整数测试,不能针对浮点

  • 条件判断 "x$a" = "x$b",x 表示不扩展

  • getopts简化参数处理,支持类似 -xvf 这样写在一起的参数。

  • 函数里return的作用类似于exit。

第七章输入输出文件与命令执行

  • read,将信息读入一个或者多个Shell变量。


    while read...
    do
    ...
    done < file


  • set -C 当>重定向遇到目标文件存在时,会失败
    program << delimiter 之后跟输入的正文+delimiter。
    <>打开一个义件作为输入和输出

  • 2>&1 必须连在一起

  • exec以新的程序代替shell,或者改变shell 的I/O。将不会回到脚本里,
    除非调用失败。

  • printf...

  • 当前用户的根目录,~name,name用户的根目录。可移植性不好

  • ?通配一个字符,*通配多个字符,[abc]通配a,b,c [!abc]除了 a,b, c

  • $() 包括几个命令的时候,代表一个整体,术语是 "命令替换"。

  • expr用于运算

  • 反斜杠""转义(单引号--保留字面值; 双引号--会做变量转换之类的)

  • eval告知Shell取出eval的参数,并执行他(们)。

  • shell内部的解释过程比较晦涩,定义变量尽量简单。

  • "subshell --()" 括号内的命令集将单独开一个进程去执行。

  • command 可以访问内建命令

  • set

第八章 产生脚本

  • basename 从完整路径中取出文件名。再加一个参数就是要从文件名结尾去掉的字符串。

第九章 awk太强大

  • 命令格式
    awk [-F field-separator] 'commands' input-file(s)

  • awk内置变量


    ARGC 命令行参数个数
    ARGV 命令行参数排列
    ENVIRON 支持队列中系统环境变量的使用
    FILENAME awk浏览的文件名
    FNR 浏览文件的记录数
    FS 设置输入域分隔符,等价于命令行 -F选项
    NF 浏览记录的域的个数
    NR 已读的记录数
    OFS 输出域分隔符
    ORS 输出记录分隔符
    RS 控制记录分隔符


  • 实例


    假设last -n 5的输出如下


[root@www ~]# last -n 5
root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in
root pts/1 192.168.1.100 Tue Feb 10 00:46 - 02:28 (01:41)
root pts/1 192.168.1.100 Mon Feb 9 11:41 - 18:30 (06:48)
dmtsai pts/1 192.168.1.100 Mon Feb 9 11:41 - 11:41 (00:00)
root tty1 Fri Sep 5 14:09 - 14:10 (00:01)如果只是显示最近登录的5个帐号

#last -n 5 | awk '{print $1}'
root
root
root
dmtsai
root

第十章 文件处理

  • ls

  • od 可以查看无法显示出來的字符。

  • touch

  • mktmp /tmp/myprog.xxxxxxxxxxxxx 建立一个随机的文件名。

  • /dev/random和/dev/urandom都产生随机数,urandom比较快但是不够随机(基木够用)。这两个可以替代mktmp的功能。

  • type

  • find

  • find sth. -type f 丨 xargs grep sth1 - /dev/null,xargs 只是在 stdout 上去的参数
    列表,一行一个。

  • 使用diff的惯例是把旧文件放在第一个参数。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~