管道相关命令
目标
-
cut
-
sort
-
wc
-
uniq
-
tee
-
tr
-
split
-
awk
-
sed
- 准备工作
vim score.txt
- 以上是成绩表
- 使用 逗号 分割, 第一列 是 姓名, 第二列是 语文成绩, 第三列是 数学成绩, 第四列是 英语成绩
- 需求1: 按照 数学成绩排名, 取出前三名
- 需求2: 显示 学生的数学成绩
- 需求3: 显示 数学平均分
- 需求4: 如何将大文件 切割成 若干小文件
- 准备工作
vim 1.txt
1 cut
1.1 目标
-
cut
根据条件 从命令结果中 提取 对应内容
1.2 路径
- 第一步: 截取出1.txt文件中前2行的第5个字符
- 第二步: 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容(方式一)
- 第三步: 截取出1.txt文件中前2行以”:”进行分割的第1,2,3段内容(方式二)
1.3 实现
第一步: 截取出1.txt文件中前2行的第5个字符
命令 | 含义 |
cut 动作 文件 | 从指定文件 截取内容 |
- 参数
参数 | 英文 | 含义 |
-c | characters | 按字符选取内容 |
答案:
第二步: 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容
参数 | 英文 | 含义 |
| delimiter | 指定分隔符 |
| fields | 分割以后显示第几段内容, 使用 |
范围控制
范围 | 含义 |
| 只显示第n项 |
| 显示 从第n项 一直到行尾 |
| 显示 从第n项 到 第m项(包括m) |
答案:
或者
第三步: 截取出1.txt文件中前2行以”:”进行分割的第1,2,3段内容
答案:
或者
1.4 小结
- 通过
cat 动作 目标文件
可以根据条件 提取对应内容 - 准备工作
vim score.txt
2 sort 的 工作原理
2.1 目标
- sort可针对文本文件的内容,以行为单位来排序。
2.2 路径
- 第一步: 对字符串排序
- 第二步: 去重排序
- 第三步: 对数值排序
- 第四步: 对成绩排序
2.3 实现
第一步: 对字符串排序
第二步: 去重排序
参数 | 英文 | 含义 |
| unique | 去掉重复的 |
它的作用很简单,就是在输出行中去除重复行。
第三步: 对数值排序
参数 | 英文 | 含义 |
| numeric-sort | 按照数值大小排序 |
| reverse | 使次序颠倒 |
- 准备数据
- 默认按照
字符串
排序
- 升序
- 倒序
- 合并式
第四步: 对成绩排序
参数 | 英文 | 含义 |
| field-separator | 指定字段分隔符 |
| key | 根据那一列排序 |
2.4 小结
- 通过
sort 选项 文件
可以对文件内容进行排序
3 wc命令
3.1 目标
- 显示指定文件 字节数, 单词数, 行数 信息.
3.2 路径
- 第一步: 显示指定文件 字节数, 单词数, 行数 信息.
- 第二步: 只显示 文件 的行数
- 第三步: 统计多个文件的 行数 单词数 字节数
- 第四步: 查看
/etc
目录下 有多少个 子内容
3.3 实现
第一步: 显示指定文件 字节数, 单词数, 行数 信息.
命令 | 含义 |
wc 文件名 | 显示指定文件字节数, 单词数, 行数 信息 |
第二步: 只显示 文件 的行数
参数 | 英文 | 含义 |
| bytes | 字节数 |
| words | 单词数 |
| lines | 行数 |
第三步: 统计多个文件的 行数 单词数 字节数
第四步: 查看 /etc 目录下 有多少个 子内容
3.4 小结
- 通过
wc 文件
就可以 统计 文件的 字节数、单词数、行数.
4 uniq
uniq 命令用于检查及删除文本文件中重复出现的行,一般与 sort 命令结合使用。
4.1 目标
- uniq 命令用于检查及删除文本文件中重复出现的行,一般与 sort 命令结合使用。
4.2路径
- 第一步:实现去重效果
- 第二步:不但去重,还要 统计出现的次数
4.3 实现
第一步:实现去重效果
命令 | 英文 | 含义 |
| unique 唯一 | 去除重复行 |
第二步:不但去重,还要 统计出现的次数
参数 | 英文 | 含义 |
| count | 统计每行内容出现的次数 |
4.4 小结
- 通过
uniq [选项] 文件
就可以完成 去重行 和 统计次数
vim的时候,我多写一个空行
5 tee
5.1 目标
- 通过
tee
可以将命令结果 通过管道 输出到 多个文件中
5.2 实现
命令 | 含义 |
命令结果 | tee 文件1 文件2 文件3 | 通过 |
将去重统计的结果 放到 a.txt、b.txt、c.txx 文件中
5.3 小结
- 通过
tee
可以将命令结果 通过管道 输出到 多个文件中
6 tr
6.1 目标
- 通过
tr
命令用于 替换 或 删除 文件中的字符。
6.2 路径
- 第一步: 实现 替换 效果
- 第二步: 实现 删除 效果
- 第三步: 完成 单词计数 案例
6.3 实现
第一步: 实现 替换效果
命令 | 英文 | 含义 |
命令结果 | tr 被替换的字符 新字符 | translate | 实现 替换效果 |
第二步: 实现删除效果
命令 | 英文 | 含义 |
命令结果 | tr -d 被删除的字符 | delete | 删除指定的字符 |
- 需求: 删除abc1d4e5f中的数字
第三步: 单词计数
准备工作
1 将, 换成 换行
2 排序
3 去重
4 计数
6.4 小结
- 通过
tr [选项] 字符1 字符2
可以 实现 替换 和 删除 效果 - 准备工作
7 split
7.1 目标
- 通过
split
命令将大文件 切分成 若干小文件
7.2 路径
- 第一步: 按 字节 将 大文件 切分成 若干小文件
- 第二步: 按 行数 将 大文件 切分成 若干小文件
7.3 实现
第一步: 按 字节 将 大文件 切分成 若干小文件
命令 | 英文 | 含义 |
split -b 10k 文件 | byte | 将大文件切分成若干10KB的小文件 |
第二步: 按 行数 将 大文件 切分成 若干小文件
命令 | 英文 | 含义 |
split -l 1000 文件 | lines | 将大文件切分成若干1000行 的小文件 |
7.4 小结
- 通过
split 选项 文件名
命令将大文件 切分成 若干小文件 - 准备工作1:
vim score.txt
8 awk
8.1 目标
- 通过
awk
实现 模糊查询, 按需提取字段, 还可以进行 判断 和 简单的运算等.
8.2 步骤
- 第一步: 模糊查询
- 第二步: 指定分割符, 根据下标显示内容
- 第三步: 指定输出字段的分割符
- 第四步: 调用 awk 提供的函数
- 第五步: 通过if语句判断$4是否及格
- 第六步: 段内容 求和
8.3 实现
第一步: 搜索 zhangsan 和 lisi 的成绩
命令 | 含义 |
awk ‘/zh|li/’ score.txt | 模糊查询 |
第二步: 指定分割符, 根据下标显示内容
命令 | 含义 |
awk -F ‘,’ ‘{print $1, $2, $3}’ 1.txt | 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容 |
选项
选项 | 英文 | 含义 |
| field-separator | 使用 指定字符 分割 |
| 获取第几段内容 | |
| 获取 当前行 内容 | |
| 表示当前行共有多少个字段 | |
| 代表 最后一个字段 | |
| 代表 倒数第二个字段 | |
| 代表 处理的是第几行 |
第三步: 指定分割符, 根据下标显示内容
命令 | 含义 |
awk -F ’ ’ ‘{OFS="==="}{print $1, $2, $3}’ 1.txt | 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容 |
选项
选项 | 英文 | 含义 |
| output field separator | 向外输出时的段分割字符串 |
第四步: 调用 awk 提供的函数
命令 | 含义 |
awk -F ‘,’ ‘{print toupper($2)}’ 1.txt | 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容 |
常用函数如下:
函数名 | 含义 | 作用 |
toupper() | upper | 字符 转成 大写 |
tolower() | lower | 字符 转成小写 |
length() | length | 返回 字符长度 |
第五步: if语句 查询及格的学生信息
命令 | 含义 |
awk -F ‘,’ ‘{if($4>60) print $1, $4 }’ score.txt | 如果及格,就显示 $1, $4 |
awk -F ‘,’ ‘{if($4>60) print $1, $4, “及格”; else print $1, $4, “不及格”}’ score.txt | 显示 姓名, $4, 是否及格 |
选项
参数 | 含义 |
if($0 ~ “aa”) print $0 | 如果这一行包含 “aa”, 就打印这一行内容 |
if($1 ~ “aa”) print $0 | 如果**第一段 **包含 “aa”, 就打印这一行内容 |
if($1 == “lisi”) print $0 | 如果第一段 等于 “lisi”, 就打印这一行内容 |
第六步: 段内容 求学科平均分
命令 | 含义 |
awk ‘BEGIN{初始化操作}{每行都执行} END{结束时操作}’ 文件名 | BEGIN{ 这里面放的是执行前的语句 } {这里面放的是处理每一行时要执行的语句} END {这里面放的是处理完所有的行后要执行的语句 } |
8.4 小结
- 通过
awk 动作 文件名
更加灵活的解析文件.
- 准备工作
vim 1.txt
9 sed
9.1 目标
- 通过 sed 可以实现 过滤 和 替换 的功能.
9.2 路径
- 第一步: 实现 查询 功能
- 第二步: 实现 删除 功能
- 第三步: 实现 修改 功能
- 第四步: 实现 替换 功能
- 第五步: 对 原文件 进行操作
- 第六步: 综合 练习
9.3 实现
第一步: 实现 查询 功能
命令 | 含义 |
sed 可选项 目标文件 | 对目标文件 进行 过滤查询 或 替换 |
可选参数
可选项 | 英文 | 含义 |
p | 打印 | |
$ | 代表 最后一行 | |
| 仅显示处理后的结果 | |
| expression | 根据表达式 进行处理 |
练习1 列出 1.txt的 1~5行 的数据
练习2 列出01.txt的所有数据
练习3 列出01.txt的所有数据 且 显示行号
可选项 | 含义 |
= | 打印当前行号 |
练习4: 查找01.txt中包含root行
答案:
练习5 列出01.txt中包含root的内容,root不区分大小写,并显示行号
可选项 | 英文 | 含义 |
I | ignore | 忽略大小写 |
答案:
练习6 查找出1.txt中 字母r后面是多个t的行,并显示行号
可选项 | 英文 | 含义 |
| regexp-extended | 识别正则 |
答案:
或者
第二步: 实现 删除 功能
练习1 删除01.txt中前3行数据,并显示行号
可选项 | 英文 | 含义 |
| delete | 删除指定内容 |
答案:
练习2 保留1.txt中前4行数据,并显示行号
答案:
第三步: 实现 修改 功能
练习1: 在01.txt的第二行后添加aaaaa,并显示行号
参数 | 英文 | 含义 |
i | insert | 目标前面 插入内容 |
a | append | 目标后面 追加内容 |
答案:
练习2 在1.txt的第1行前添加bbbbb,并显示行号
答案:
第四步: 实现 替换 功能
练习1 把1.txt中的nologin替换成为huawei,并显示行号
英文 | 含义 | |
s/oldString/newString/ | replace | 替换 |
答案:
练习2 把01.txt中的1,2行替换为aaa,并显示行号
选项 | 英文 | |
| replace | 使用新字符串 替换 选中的行 |
答案:
第五步: 对 原文件 进行操作
练习1 在01.txt中把nologin替换为 huawei
参数 | 英文 | 含义 |
-i | in-place | 替换原有文件内容 |
答案:
练习2 在01.txt文件中第2、3行替换为aaaaaa
答案:
注意:在进行操作之前,最好是对数据进行备份,放置操作失误,数据无法恢复!
练习3 删除01.txt中前2行数据,并且删除原文件中的数据
答案:
第六步: 综合 练习
练习1 获取ip地址
答案:
练习2 从1.txt中提出数据,匹配出包含root的内容,再把nologin替换为itheima
答案:
练习3 从1.txt中提出数据,删除前5行,并把nologin替换为itheima,并显示行号
答案:
2. Shell 编程
2.1 简介
Shell 是一个用 C 语言编写的程序,通过 Shell 用户可以访问操作系统内核服务。
Shell 既是一种命令语言,又是一种程序设计语言。
Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程,不是指开发 shell 自身。
Shell 编程跟 java、php 编程一样,只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。
Linux 的 Shell 解释器 种类众多,一个系统可以存在多个 shell,可以通过 cat /etc/shells 命令查看系统中安装的 shell解释器。
Bash 由于易用和免费,在日常工作中被广泛使用。同时,Bash 也是大多数Linux 系统默认的 Shell。
shell 解释器
java 需要 虚拟机解释器, 同理 shell脚本也需要 解析器
2.2快速入门
1 编写脚本
新建 /export/hello.sh 文件
#!是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种 Shell。
echo 命令用于向窗口输出文本。
2 执行shell脚本
执行方式一
问题: bash 和 sh 是什么关系?
sh 是 bash 的 快捷方式
3.2 执行方式二
方式一的简化方式
3.2.1 问题: 请思考 为什么可以省略 /bin/
因为 PATH环境变量中增加了 /bin/目录, 所以 使用/bin/sh等类似指令时, 可以省略 /bin
3.3 执行方式三
./文件名
3.3.1 权限不够怎么办?
2.3 shell变量
1 简介
在shell脚本中, 定义变量时,变量名不加美元符号($),如:
your_name=“runoob.com”
注意 : 变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样。
同时,变量名的命名须遵循如下规则:
- 命名只能使用英文字母,数字和下划线,首个字符不能以数字开头。
- 中间不能有空格,可以使用下划线(_)。
- 不能使用标点符号。
- 不能使用bash里的关键字(可用help命令查看保留关键字)。
有效的 Shell 变量名示例如下:
无效的变量命名:
除了显式地直接赋值,还可以用语句给变量赋值,如:
[外链图片转存失败(img-Zhqlqi0p-1562980123873)(assets/1558797170415.png)]
或
以上语句将 /etc 下目录的文件名循环出来。
2 使用变量
使用一个定义过的变量,只要在变量名前面加美元符号即可,如:
变量名外面的花括号是可选的,加不加都行,加花括号是为了帮助解释器识别变量的边界,比如下面这种情况:
如果不给skill变量加花括号,写成echo "I am good at
skillScript当成一个变量(其值为空),代码执行结果就不是我们期望的样子了。
推荐给所有变量加上花括号,这是个好的编程习惯。
已定义的变量,可以被重新定义,如:
这样写是合法的,但注意,第二次赋值的时候不能写)。
3 删除变量
使用 unset 命令可以删除变量。语法:
变量被删除后不能再次使用。unset 命令不能删除只读变量。
实例
以上实例执行将没有任何输出。
4 只读变量
使用 readonly 命令可以将变量定义为只读变量,只读变量的值不能被改变。
下面的例子尝试更改只读变量,结果报错:
运行脚本,结果如下:
2.4 字符串
字符串是shell编程中最常用最有用的数据类型(除了数字和字符串,也没啥其它类型好用了),字符串可以用单引号,也可以用双引号,也可以不用引号。
1 单引号
输出结果为:
单引号字符串的限制:
- 单引号里的任何字符都会原样输出,单引号字符串中的变量是无效的;
- 单引号字串中不能出现单独一个的单引号(对单引号使用转义符后也不行),但可成对出现,作为字符串拼接使用。
2 双引号
输出结果为:
双引号的优点:
- 双引号里可以有变量
- 双引号里可以出现转义字符
3 获取字符串长度
4 提取子字符串
以下实例从字符串第 2 个字符开始截取 4 个字符:
5 查找子字符串
查找字符 i 或 o 的位置(哪个字母先出现就计算哪个):
注意: 以上脚本中 ` 是反引号(Esc下面的),而不是单引号 ',不要看错了哦。
2.5 传递参数
我们可以在执行 Shell 脚本时,向脚本传递参数,脚本内获取参数的格式为:$n。
n 代表一个数字,1 为执行脚本的第一个参数,2 为执行脚本的第二个参数,以此类推……
实例
以下实例我们向脚本传递三个参数,并分别输出,其中 $0 为执行的文件名:
vim /export/sh/param.sh
为脚本设置可执行权限,并执行脚本,输出结果如下所示:
Shell 传递参数实例!
另外,还有几个特殊字符用来处理参数:
参数处理 | 说明 |
$# | 传递到脚本的参数个数 |
$* | 以一个单字符串显示所有向脚本传递的参数。 如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 |
$$ | 脚本运行的当前进程ID号 |
$! | 后台运行的最后一个进程的ID号 |
$@ | 与 @“用「”」括起来的情况、以"$1" “ n” 的形式输出所有参数。 |
$- | 显示Shell使用的当前选项,与set命令功能相同。 |
$? | 显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误。 |
执行脚本,输出结果如下所示:
$* 与 $@ 区别:
- 相同点:都是引用所有参数。
- 不同点:只有在双引号中体现出来。假设在脚本运行时写了三个参数 1、2、3,,则 " * " 等价于 “1 2 3”(传递了一个参数),而 “@” 等价于 “1” “2” “3”(传递了三个参数)。
执行脚本,输出结果如下所示:
2.6 Shell算术运算符
1 简介
Shell 和其他编程一样,支持包括:算术、关系、布尔、字符串等运算符。
原生 bash **不支持 **简单的数学运算,但是可以通过其他命令来实现,例如expr。
expr 是一款表达式计算工具,使用它能完成表达式的求值操作。
例如,两个数相加:
注意:
表达式和运算符之间要有空格,例如 2+2 是不对的,必须写成 2 + 2。
完整的表达式要被 ` 包含,注意不是单引号,在 Esc 键下边。
下表列出了常用的算术运算符,假定变量 a 为 10,变量 b 为 20:
运算符 | 说明 | 举例 |
+ | 加法 | |
- | 减法 | |
* | 乘法 | |
/ | 除法 | |
% | 取余 | |
= | 赋值 | a=$b 将把变量 b 的值赋给 a。 |
== | 相等。用于比较两个数字,相同则返回 true。 | [ $a == $b ] 返回 false。 |
!= | 不相等。用于比较两个数字,不相同则返回 true。 | [ $a != $b ] 返回 true。 |
**注意:**条件表达式要放在方括号之间,并且要有空格,例如: [ b] 是错误的,必须写成 [ $a == $b ]。
2 例子
2.7流程控制
1 if else
1.1 if
if 语句语法格式:
demo
末尾的fi就是if倒过来拼写,后面还会遇到类似的。
1.2 if else
if else 语法格式:
1.3 if else-if else
if else-if else 语法格式:
以下实例判断两个变量是否相等:
关系运算符
关系运算符只支持数字,不支持字符串,除非字符串的值是数字。
下表列出了常用的关系运算符,假定变量 a 为 10,变量 b 为 20:
运算符 | 说明 | 英文 | 举例 |
-eq | 检测两个数是否相等,相等返回 true。 | equal | [ $a -eq $b ] 返回 false。 |
-ne | 检测两个数是否不相等,不相等返回 true。 | not equal | [ $a -ne $b ] 返回 true。 |
-gt | 检测左边的数是否大于右边的,如果是,则返回 true。 | greater than | [ $a -gt $b ] 返回 false。 |
-lt | 检测左边的数是否小于右边的,如果是,则返回 true。 | less than | [ $a -lt $b ] 返回 true。 |
-ge | 检测左边的数是否大于等于右边的,如果是,则返回 true。 | Greater than or equal to | [ $a -ge $b ] 返回 false。 |
-le | 检测左边的数是否小于等于右边的,如果是,则返回 true。 | Less than or equal to | [ $a -le $b ] 返回 true。 |
案例:
2 for 循环
2.1 格式
2.2 随堂练习
代码如下:
3 while 语句
while循环用于不断执行一系列命令,也用于从输入文件中读取数据;命令通常为测试条件。其格式为:
需求: 计算 1~100 的和
运行脚本,输出:
使用中使用了 Bash let 命令,它用于执行一个或多个表达式,变量计算中不需要加上 $ 来表示变量,具体可查阅:Bash let 命令。
4 无限循环
无限循环语法格式:
5 case
Shell case语句为多选择语句。可以用case语句匹配一个值与一个模式,如果匹配成功,执行相匹配的命令。case语句格式如下:
case工作方式如上所示。取值后面必须为单词in,每一模式必须以右括号结束。取值可以为变量或常数。匹配发现取值符合某一模式后,其间所有命令开始执行直至 ;;。
取值将检测匹配的每一个模式。一旦模式匹配,则执行完匹配模式相应命令后不再继续其他模式。如果无一匹配模式,使用星号 * 捕获该值,再执行后面的命令。
下面的脚本提示输入1到4,与每一种模式进行匹配:
输入不同的内容,会有不同的结果,例如:
6 跳出循环
在循环过程中,有时候需要在未达到循环结束条件时强制跳出循环,Shell使用两个命令来实现该功能:break和continue。
6.1 break命令
break命令允许跳出所有循环(终止执行后面的所有循环)。
6.2 continue
continue命令与break命令类似,只有一点差别,它不会跳出所有循环,仅仅跳出当前循环。
2.8 函数使用
1 函数的快速入门
- 格式
- 可以带function fun() 定义,也可以直接fun() 定义,不带任何参数。
- 参数返回,可以显示加:return 返回,如果不加,将以最后一条命令运行结果,作为返回值。 return后跟数值n(0-255)
- 快速入门
2 传递参数给函数
在Shell中,调用函数时可以向其传递参数。在函数体内部,通过 $n 的形式来获取参数的值,例如,$1表示第一个参数,$2表示第二个参数…
带参数的函数示例:
输出结果:
注意,
{10}。当n>=10时,需要使用${n}来获取参数。
另外,还有几个特殊字符用来处理参数:
参数处理 | 说明 |
$# | 传递到脚本的参数个数 |
$* | 以一个单字符串显示所有向脚本传递的参数 |
$$ | 脚本运行的当前进程ID号 |
$! | 后台运行的最后一个进程的ID号 |
$@ | 与$*相同,但是使用时加引号,并在引号中返回每个参数。 |
$- | 显示Shell使用的当前选项,与set命令功能相同。 |
$? | 显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误。 |
2.9 数组
1 定义数组
数组中可以存放多个值。Bash Shell 只支持一维数组(不支持多维数组),初始化时不需要定义数组大小(。
与大部分编程语言类似,数组元素的下标由0开始。
Shell 数组用括号来表示,元素用**“空格”**符号分割开,语法格式如下:
array_name=(value1 value2 value3 … valuen)
1.1 实例
2 读取数组
读取数组元素值的一般格式是:
2.1 实例
执行脚本,输出结果如下所示:
2.2 获取数组中的所有元素
使用@ 或 * 可以获取数组中的所有元素,例如:
执行脚本,输出结果如下所示:
2.3 获取数组的长度
获取数组长度的方法与获取字符串长度的方法相同,例如:
执行脚本,输出结果如下所示:
3 遍历数组
3.1 方式一
3.2 方式二
2.10 加载其它文件的变量
[外链图片转存失败(img-lWAaBorv-1562980123875)(assets/1558886748501.png)]
1 简介
和其他语言一样,Shell 也可以包含外部脚本。这样可以很方便的封装一些公用的代码作为一个独立的文件。
Shell 文件包含的语法格式如下:
2 练习
定义两个文件 test1.sh和test2.sh,在test1中定义一个变量arr=(java c++ shell),在test2中对arr进行循环打印输出。
第一步: vim test1.sh
第二步: vim test2.sh
第三步: 执行 test2.sh
好处 :
1. 数据源 和 业务处理 分离
2. 复用 代码扩展性更强