shell脚本编程；文本处理工具sed;文件查找和压缩

第四周知识盘点

  本周主要讲了shell脚本编程基础，涉及一些基础语法，Linux文件查找和压缩，以及文本处理三剑客之一sed。

一.shell脚本编程

1.shell脚本

1.1.shell脚本:包含一些命令或声明，并符合一定格式的文本文件

格式要求：首行shebang机制

#!/bin/bash
#!/usr/bin/python
#!/usr/bin/perl

1.2.shell脚本的用途有：

自动化常用命令
执行系统管理和故障排除
创建简单的应用程序
处理文本或文件

1.3. 脚本调试

检测脚本中的语法错误
bash -n /path/to/some_script
调试执行
bash -x /path/to/some_script

2.变量

2.1.变量命名

Shell中变量命名法则：
1、不能使程序中的保留字：例如if, for
2、只能使用数字、字母及下划线，且不能以数字开头
3、见名知义
4、统一命名规则：驼峰命名法
Shell中命名建议规则：
1、变量名大写
2、局部变量小写
3、函数名小写
4、用英文名字，并体现出实际作用

2.2.变量分类

根据变量的生效范围等标准划分下面变量类型

2.2.1.局部变量：生效范围为当前shell进程；对当前shell之外的其它shell进程，包括当前shell的子shell进程均无效

变量赋值：name=‘value’
可以使用引用value
(1) 可以是直接字串：name=“root"
(2) 变量引用：name="$USER"
(3) 命令引用：name=COMMAND
name=$(COMMAND)
变量引用：${name} 或者 $name
" " 弱引用，其中的变量引用会被替换为变量值
' ' 强引用，其中的变量引用不会被替换为变量值，而保持原字符串
显示已定义的所有变量：set
删除变量：unset name

2.2.2.环境变量：生效范围为当前shell进程及其子进程

变量声明、赋值：
export name=VALUE
declare -x name=VALUE
变量引用：
$name, ${name}
显示所有环境变量：
env, printenv, export, declare -x
删除变量： unset name

2.2.3.本地变量：生效范围为当前shell进程中某代码片断，通常指函数

bash内建的环境变量 PATH
SHELL
USER
UID
HOME
PWD
SHLVL
LANG
MAIL
HOSTNAME
HISTSIZE
_ 下划线

2.2.4.位置变量：$1, $2, ...来表示，用于让脚本在脚本代码中调用通过命令行传递给它的参数

 只读变量：只能声明，但不能修改和删除
 声明只读变量：
readonly name
declare -r name
 查看只读变量：
readonly -p
 位置变量：在脚本代码中调用通过命令行传递给脚本的参数
$1, $2, ... 对应第1、第2等参数，shift [n]换位置
$0 命令本身
$* 传递给脚本的所有参数，全部参数合为一个字符串
$@ 传递给脚本的所有参数，每个参数为独立字符串
$# 传递给脚本的参数的个数
注意：$@ $* 只在被双引号包起来的时候才会有差异
set -- 清空所有位置变量
5.特殊变量：$?, $0, $*, $@, $#,$$

3.算术运算与逻辑运算

3.1.bash中的算术运算:help let

+, -, *, /, %取模（取余）, **（乘方），乘法符号有些场景中需要转义 实现算术运算：
(1) let var=算术表达式
(2) var=$[算术表达式]
(3) var=$((算术表达式))
(4) var=$(expr arg1 arg2 arg3 ...)
(5) declare –i var = 数值
(6) echo ‘算术表达式’ | bc
bash有内建的随机数生成器变量：$RANDOM（0-32767） 示例：生成 0 - 49 之间随机数 echo $[$RANDOM%50]

3.2.赋值

增强型赋值：
+=, -=, *=, /=, %=
let varOPERvalue
例如:let count+=3
自加3后自赋值
自增，自减：
let var+=1
let var++
let var-=1
let var--

3.3.逻辑运算

true, false
1, 0
与
1 与 1 = 1
1 与 0 = 0
0 与 1 = 0
0 与 0 = 0
或
1 或 1 = 1
1 或 0 = 1
0 或 1 = 1
0 或 0 = 0
非：！ ! 1 = 0 ! true ! 0 = 1 ! false
短路运算
短路与 第一个为0，结果必定为0
第一个为1，第二个必须要参与运算
短路或
第一个为1，结果必定为1
第一个为0，第二个必须要参与运算
异或：^
异或的两个值，相同为假，不同为真

3.4.条件测试

判断某需求是否满足，需要由测试机制来实现
专用的测试表达式需要由测试命令辅助完成测试过程
评估布尔声明，以便用在条件性执行中
• 若真，则返回0 • 若假，则返回1 测试命令：
• test EXPRESSION
• [ EXPRESSION ] • [[ EXPRESSION ]]
注意：EXPRESSION前后必须有空白字符

3.5.数值测试

-v VAR
变量VAR是否设置
数值测试：
-gt 是否大于
-ge 是否大于等于
-eq 是否等于
-ne 是否不等于
-lt 是否小于
-le 是否小于等于

3.6.字符串测试

= 是否等于
> ascii码是否大于ascii码 < 是否小于
!= 是否不等于
=~ 左侧字符串是否能够被右侧的PATTERN所匹配
注意: 此表达式一般用于[[ ]]中；扩展的正则表达式
-z "STRING“ 字符串是否为空，空为真，不空为假
-n "STRING“ 字符串是否不空，不空为真，空为假
 注意：用于字符串比较时的用到的操作数都应该使用引号

3.7.文件测试

存在性测试
-a FILE：同 -e -e FILE: 文件存在性测试，存在为真，否则为假
存在性及类别测试
-b FILE：是否存在且为块设备文件
-c FILE：是否存在且为字符设备文件
-d FILE：是否存在且为目录文件
-f FILE：是否存在且为普通文件
-h FILE 或 -L FILE：存在且为符号链接文件
-p FILE：是否存在且为命名管道文件
-S FILE：是否存在且为套接字文件

3.8.文件权限测试

文件权限测试：
-r FILE：是否存在且可读
-w FILE: 是否存在且可写
-x FILE: 是否存在且可执行
文件特殊权限测试：
-u FILE：是否存在且拥有suid权限
-g FILE：是否存在且拥有sgid权限
-k FILE：是否存在且拥有sticky权限

3.9.文件属性测试

文件大小测试：
-s FILE: 是否存在且非空
文件是否打开：
-t fd: fd 文件描述符是否在某终端已经打开
-N FILE：文件自从上一次被读取之后是否被修改过
-O FILE：当前有效用户是否为文件属主
-G FILE：当前有效用户是否为文件属组
双目测试：
FILE1 -ef FILE2: FILE1是否是FILE2的硬链接
FILE1 -nt FILE2: FILE1是否新于FILE2（mtime）
FILE1 -ot FILE2: FILE1是否旧于FILE2

3.10.组合测试条件

 第一种方式：
[ EXPRESSION1 -a EXPRESSION2 ] 并且
[ EXPRESSION1 -o EXPRESSION2 ] 或者
[ ! EXPRESSION ] 取反
-a 和 -o 需要使用测试命令进行，[[ ]] 不支持
 第二种方式：
COMMAND1 && COMMAND2 并且，短路与，代表条件性的AND THEN
COMMAND1 || COMMAND2 或者，短路或，代表条件性的OR ELSE
! COMMAND 非
示例：
[ -f “$FILE” ] && [[ “$FILE”=~ .*.sh$ ]]

read命令

使用read来把输入值分配给一个或多个shell变量
-p 指定要显示的提示
-s 静默输入，一般用于密码
-n N 指定输入的字符长度N -d ‘字符’ 输入结束符
-t N TIMEOUT为N秒
read 从标准输入中读取值，给每个单词分配一个变量
所有剩余单词都被分配给最后一个变量
read -p “Enter a filename: “ FILE

4.条件判断

4.1.if语句

多分支
if 判断条件1; then
条件1为真的分支代码
elif 判断条件2; then
条件2为真的分支代码
elif 判断条件3; then
条件3为真的分支代码
else
以上条件都为假的分支代码
fi
逐条件进行判断，第一次遇为“真”条件时，执行其分支，而后结束整个if语句

4.2.case语句

case 变量引用 in
PAT1)
分支1
;;
PAT2)
分支2
;;
...
*)
默认分支
;;
esac

5.bash配置文件

5.1.按生效范围划分，存在两类：

全局配置：
/etc/profile
/etc/profile.d/*.sh
/etc/bashrc
个人配置：
~/.bash_profile
~/.bashrc

5.2.Profile类

按功能划分，存在两类：
profile类和bashrc类
profile类：为交互式登录的shell提供配置
全局：/etc/profile, /etc/profile.d/*.sh
个人：~/.bash_profile
功用： (1) 用于定义环境变量
(2) 运行命令或脚本

5.3.Bashrc类

bashrc类：为非交互式和交互式登录的shell提供配置
全局：/etc/bashrc
个人：~/.bashrc
功用：
(1) 定义命令别名和函数
(2) 定义本地变量
修改profile和bashrc文件后需生效
两种方法: 1重新启动shell进程
2 . 或source
例:. ~/.bashrc

二.文件查找与压缩

1.文件查找

1.1.locate

查询系统上预建的文件索引数据库
/var/lib/mlocate/mlocate.db
依赖于事先构建的索引
索引的构建是在系统较为空闲时自动进行(周期性任务)，管理员手动更新数据库
(updatedb) 索引构建过程需要遍历整个根文件系统，极消耗资源
工作特点: • 查找速度快 • 模糊查找
• 非实时查找
• 搜索的是文件的全路径，不仅仅是文件名
• 可能只搜索用户具备读取和执行权限的目录
locate命令
locate KEYWORD
常用选项
-i 不区分大小写的搜索
-n N 只列举前N个匹配项目
-r 使用基本正则表达式
示例
搜索名称或路径中带有“conf”的文件
locate conf
使用Regex来搜索以“.conf”结尾的文件
locate -r ‘.conf$’

1.2.find

1.2.实时查找工具，通过遍历指定路径完成文件查找

工作特点：
• 查找速度略慢
• 精确查找
• 实时查找
• 可能只搜索用户具备读取和执行权限的目录
语法： find [OPTION]... [查找路径] [查找条件] [处理动作] 查找路径：指定具体目标路径；默认为当前目录 查找条件：指定的查找标准，可以文件名、大小、类型、权限等标准进行； 默认为找出指定路径下的所有文件 处理动作：对符合条件的文件做操作，默认输出至屏幕

1.3.查找条件

指搜索层级
-maxdepth level 最大搜索目录深度,指定目录下的文件为第1级
-mindepth level 最小搜索目录深度
先处理目录内的文件，再处理指定目录
-depth
根据文件名和inode查找：
-name "文件名称"：支持使用glob
*, ?, [], [^]
-iname "文件名称"：不区分字母大小写
-inum n 按inode号查找
-samefile name 相同inode号的文件
-links n 链接数为n的文件
-regex “PATTERN”：以PATTERN匹配整个文件路径，而非文件名称
根据属主、属组查找：
-user USERNAME：查找属主为指定用户(UID)的文件
-group GRPNAME: 查找属组为指定组(GID)的文件
-uid UserID：查找属主为指定的UID号的文件
-gid GroupID：查找属组为指定的GID号的文件
-nouser：查找没有属主的文件
-nogroup：查找没有属组的文件
根据文件类型查找
-type TYPE
• f: 普通文件
• d: 目录文件
• l: 符号链接文件
• s：套接字文件
• b: 块设备文件
• c: 字符设备文件
• p: 管道文件
空文件或目录
-empty
示例：find /app -type d -empty
组合条件：
与：-a
或：-o
非：-not !
德·摩根定律：
(非 A) 或 (非 B) = 非(A 且 B)
(非 A) 且 (非 B) = 非(A 或 B)
示例：
!A -a !B = !(A -o B)
!A -o !B = !(A -a B)
根据文件大小来查找：
-size [+|-]#UNIT
常用单位：k, M, G，c（byte）
#UNIT: (#-1, #]
如：6k 表示(5k,6k]
-#UNIT：[0,#-1]
如：-6k 表示[0,5k]
+#UNIT：(#,∞)
如：+6k 表示(6k,∞)
根据时间戳：
以“天”为单位
-atime [+|-]#,
#: [#,#+1)
+#: [#+1,∞] -#: [0,#)
-mtime
-ctime
以“分钟”为单位
-amin
-mmin
-cmin
根据权限查找：
-perm [/|-]MODE
MODE: 精确权限匹配
/MODE：任何一类(u,g,o)对象的权限中只要能一位匹配即可，或关系，+ 从centos7开始淘汰
-MODE：每一类对象都必须同时拥有指定权限，与关系
0 表示不关注
• find -perm 755 会匹配权限模式恰好是755的文件
• 只要当任意人有写权限时，find -perm +222就会匹配
• 只有当每个人都有写权限时，find -perm -222才会匹配
• 只有当其它人（other）有写权限时，find -perm -002才会匹配

1.3.处理动作

-print：默认的处理动作，显示至屏幕
-ls：类似于对查找到的文件执行“ls -l”命令
-delete：删除查找到的文件
-fls file：查找到的所有文件的长格式信息保存至指定文件中
-ok COMMAND {} ; 对查找到的每个文件执行由COMMAND指定的命令，对 于每个文件执行命令之前，都会交互式要求用户确认
-exec COMMAND {} ; 对查找到的每个文件执行由COMMAND指定的命令 {}: 用于引用查找到的文件名称自身
find传递查找到的文件至后面指定的命令时，查找到所有符合条件的文件一次性传递给后面的命令

参数替换xargs
由于很多命令不支持管道|来传递参数，xargs用于产生某个命令的参数，xargs
可以读入 stdin 的数据，并且以空格符或回车符将 stdin 的数据分隔成为参数
许多命令不能接受过多参数，命令执行可能会失败，xargs可以解决
注意：文件名或者是其他意义的名词内含有空格符的情况
find和xargs的组合：find | xargs COMMAND
示例： ls | xargs rm 删除当前目录下的大量文件

2.压缩，解压缩

2.1.gzip/gunzip

gzip [OPTION]... FILE ...
-d 解压缩，相当于gunzip
-c 结果输出至标准输出，保留原文件不改变
-# 指定压缩比，#取值为1-9，值越大压缩比越大
gunzip file.gz 解压缩
zcat file.gz 不显式解压缩的前提下查看文本文件内容
示例：
gzip -c messages >messages.gz
gzip -c -d messages.gz > messages
zcat messages.gz > messages
cat messages | gzip > m.gz

2.2.bzip2/bunzip2/bzcat

bzip2 [OPTION]... FILE ...
-k keep, 保留原文件
-d 解压缩
-# 1-9，压缩比，默认为9 bunzip2 file.bz2 解压缩
bzcat file.bz2 不显式解压缩的前提下查看文本文件内容

2.3.xz/unxz/xzcat

xz [OPTION]... FILE ...
-k keep, 保留原文件
-d 解压缩
-# 压缩比，取值1-9，默认为6 unxz file.xz 解压缩
xzcat file.xz 不显式解压缩的前提下查看文本文件内容

2.4.zip/unzip

打包压缩
zip –r /backup/sysconfig /etc/sysconfig/
解包解压缩
unzip sysconfig.zip
cat /var/log/messages | zip messages -
unzip -p message.gz > message -p 表示管道

2.5.tar工具

tar（Tape ARchive，磁带归档的缩写）
tar [OPTION]...
(1) 创建归档，保留权限
tar -cpvf /PATH/FILE.tar FILE...
(2) 追加文件至归档： 注：不支持对压缩文件追加
tar -r -f /PATH/FILE.tar FILE...
(3) 查看归档文件中的文件列表
tar -t -f /PATH/FILE.tar
(4) 展开归档
tar -x -f /PATH/FILE.tar
tar -x -f /PATH/FILE.tar -C /PATH/
(5) 结合压缩工具实现：归档并压缩 -j: bzip2, -z: gzip, -J: xz
--exclude 排除文件
tar zcvf /root/a3.tgz --exclude=/app/host1 --exclude=/app/host2  /app
-T 选项指定输入文件 -X 选项指定包含要排除的文件列表
tar zcvf mybackup.tgz -T /root/includefilelist -X /root/excludefilelist
split：分割一个文件为多个文件
分割大的 tar 文件为多份小文件
split -b Size –d tar-file-name prefix-name

2.5.cpio

 功能：复制文件从或到归档
 cpio命令是通过重定向的方式将文件进行打包备份，还原恢复的工具，它可以解压以
“.cpio”或者“.tar”结尾的文件
 cpio [选项] > 文件名或者设备名
 cpio [选项] < 文件名或者设备名
 选项
-o 将文件拷贝打包成文件或者将文件输出到设备上
-O filename 输出到指定的归档文件名
-A 向已存在的归档文件中追加文件
-i 解包，将打包文件解压或将设备上的备份还原到系统
-I filename 对指定的归档文件名解压
-t 预览，查看文件内容或者输出到设备上的文件内容
-F filename 使用指定的文件名替代标准输入或输出
-d 解包生成目录，在cpio还原时，自动的建立目录
-v 显示打包过程中的文件名称

三.文本处理工具sed

1.1.sed工具

用法：
sed [option]... 'script' inputfile...
常用选项：
-n 不输出模式空间内容到屏幕，即不自动打印
-e 多点编辑
-f /PATH/SCRIPT_FILE 从指定文件中读取编辑脚本
-r 支持使用扩展正则表达式
-i.bak 备份文件并原处编辑

地址定界：
(1) 不给地址：对全文进行处理
(2) 单地址：
#：指定的行，$：最后一行
/pattern/：被此处模式所能够匹配到的每一行
(3) 地址范围：
#,#
#,+#
/pat1/,/pat2/
#,/pat1/
(4) ~：步进
1~2 奇数行
2~2 偶数行
编辑命令：
d 删除模式空间匹配的行，并立即启用下一轮循环
p 打印当前模式空间内容，追加到默认输出之后
a []text 在指定行后面追加文本，支持使用\n实现多行追加
i []text 在行前面插入文本
c []text 替换行为单行或多行文本
w /path/file 保存模式匹配的行至指定文件
r /path/file 读取指定文件的文本至模式空间中匹配到的行后
= 为模式空间中的行打印行号
! 模式空间中匹配行取反处理
s/// 查找替换,支持使用其它分隔符，s@@@，s###
替换标记：
g 行内全局替换
p 显示替换成功的行
w /PATH/FILE 将替换成功的行保存至文件中

1.2.高级编辑命令

P： 打印模式空间开端至\n内容，并追加到默认输出之前
h: 把模式空间中的内容覆盖至保持空间中
H：把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G：从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N：读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D：如果模式空间包含换行符，则删除直到第一个换行符的模式空间中的文本， 并不会读取新的输入行，而使用合成的模式空间重新启动循环。如果模式空间
不包含换行符，则会像发出d命令那样启动正常的新循环