Linux-标准IO和管道_管道

本章内容

三种I/O设备

I/O重定向至文件

使用管道

 

标准输入和输出

程序:指令+数据

读入数据:Input

输出数据:Output

打开的文件都有一个fd: file descriptor (文件描述符)

Linux给程序提供三种I/O设备

标准输入(STDIN)-0 默认接受来自键盘的输入

标准输出(STDOUT)-1 默认输出到终端窗口

标准错误(STDERR)-2 默认输出到终端窗口

I/O重定向:改变默认位置

 

打开的文件都有一个fdfile description(文件描述符)

[root@centos7 data]#exec 8<>/data/hosts

[root@centos7 data]#ll /proc/$$/fd

total 0

lrwx------. 1 root root 64 Mar 30 14:22 0 -> /dev/pts/3

lrwx------. 1 root root 64 Mar 30 14:22 1 -> /dev/pts/3

lrwx------. 1 root root 64 Mar 30 14:22 2 -> /dev/pts/3

lrwx------. 1 root root 64 Mar 30 16:58 255 -> /dev/pts/3

lrwx------. 1 root root 64 Mar 30 17:17 8 -> /data/hosts

[root@centos7 data]#cat /proc/$$/fd/8

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

其实就是软链接

 

把输出和错误重新定向到文件

STDOUTSTDERR可以被重定向到文件

命令 操作符号 文件名

支持的操作符号包括:

> STDOUT重定向到文件

2> STDERR重定向到文件

&> 把所有输出重定向到文件

> 文件内容会被覆盖

set C 禁止将内容覆盖已有文件,但可追加

>| file 强制覆盖

set +C 允许覆盖

>> 原有内容基础上,追加内容

 

2> 覆盖重定向错误输出数据流

2>> 追加重定向错误输出数据流

标准输出和错误输出各自定向至不同位置

COMMAND > /path/to/file.out 2> /path/to/error.out

合并标准输出和错误输出为同一个数据流进行重定向

&> 覆盖重定向

&>> 追加重定向

COMMAND > /path/to/file.out 2>&1 (顺序很重要)

COMMAND >> /path/to/file.out 2>&1

 ():合并多个程序的STDOUT

( cal 2007 ; cal 2008 ) > all.txt

 

标准输出重定向:>,或者1>

ls > /dev/pts/5

ls > /data/ls.out

 

对的和错的分别重定向

ls /error /data >>/data/f1 2>>/data/f2

 

对的和错的放在一起

ls /error /data >all.log 2>&1

注意次序!

 

新写法:

ls /error /data &>all.log

(ls /error /data 2>&1)>all.log


/dev/null      垃圾箱,无底洞,不希望输出和保存的数据可导到这里


cat 啥都不跟的话会回显,就既有标准输入,又有标准输出


tr命令

tr 转换和删除字符

tr [OPTION]... SET1 [SET2]

选项:

-c -C --complement:取字符集的补集

-d --delete:删除所有属于第一字符集的字符

-s --squeeze-repeats:把连续重复的字符以单独一个字符表示

-t --truncate-set1:将第一个字符集对应字符转化为第二字符集对应的字符

[:alnum:]:字母和数字 [:alpha:]:字母 [:cntrl:]:控制(非打印)字符 [:digit:]:数字 [:graph:]:图形字符 [:lower:]:小写字母 [:print:]:可打印字符 [:punct:]:标点符号 [:space:]:空白字符 [:upper:]:大写字母 [:xdigit:]:十六进制字符

[root@centos7 data]#tr 'a-z' 'A-Z'

asdf1234

ASDF1234

 

从文件中导入STDIN

使用<来重定向标准输入

某些命令能够接受从文件中导入的STDIN

tr ‘a-z’ ‘A-Z’< /etc/issue

该命令会把/etc/issue中的小写字符都转换成写写字符

tr d abc < /etc/fstab 删除fstab文件中的所有abc中任意字符

cat > file

mage

wangxiaochun

ctrl+d离开,可以使用文件来代替键盘的输入

Cat > filea < fileb

 

[root@centos7 ~]#tr 'a-z' 'A-Z' < anaconda-ks.cfg > /data/log

[root@centos7 ~]#cat /data/log

 

[root@centos7 doc]#tr -dc 'abc'

23423aabc3sff

aabc

 

[root@centos7 doc]#tr -s "abc"

aaabbbacde

abacde

 

[root@centos7 data]#cat win3.txt

a  b     c

[root@centos7 data]#tr -s ' ' <win3.txt

a b c

 

[root@centos7 data]#df > df.log

[root@centos7 data]#tr -s ' ' : < df.log

Filesystem:1K-blocks:Used:Available:Use%:Mounted:on

/dev/sda2:51474912:3405572:45431516:7%:/

devtmpfs:523248:0:523248:0%:/dev

tmpfs:537748:0:537748:0%:/dev/shm

tmpfs:537748:14544:523204:3%:/run

tmpfs:537748:0:537748:0%:/sys/fs/cgroup

/dev/sda1:999320:130824:799684:15%:/boot

/dev/sda3:20511312:45420:19400932:1%:/data

tmpfs:107552:12:107540:1%:/run/user/42

tmpfs:107552:0:107552:0%:/run/user/0

/dev/sr0:8490330:8490330:0:100%:/mnt

 

[root@centos7 qjy]#echo abcdef | tr 'abcd' 'xyz'

xyzzef

[root@centos7 qjy]#echo abcdef | tr -t 'abcd' 'xyz'

xyzdef

 

把多行发送给STDIN

使用“<<终止词”命令从键盘把多行重导向给STDIN

直到 终止词 位置的所有文本都发送给STDIN

有时被称为就地文本(heretext

mail -s "Please Call" admin@magedu.com <<END

> Hi Wang,

> Please give me a call when you get in. We may need

> to do some maintenance on server1.

> Details when you're on-site

> Zhang

> END

 

mail [-s] "hello" qjy@magedu.com < mail.txt

 

邮件里可用命令,如`hostname`

 

管道

管道(使用符号“|”表示)用来连接命令

命令1 | 命令2 | 命令3 |

将命令1STDOUT发送给命令2STDIN,命令2STDOUT发送到命令3STDIN

STDERR默认不能通过管道转发,可利用2>&1 |& 实现

最后一个命令会在当前shell进程的子shell进程中执行用来

组合多种工具的功能

ls | tr ‘a-z’ ‘A-Z’

 

cat mail.txt | mail -s 'hello' root

 

ls /boot /error 2>&1 | tr 'a-z' 'A-Z'

或新写法:

ls /boot /error |& tr 'a-z' 'A-Z

比较老的系统如RHEL 5.4等可能不支持'

 

less :一页一页地查看输入

ls -l /etc | less

mail:通过电子邮件发送输入

echo "test email" | mail -s "test" user@example.com

lpr:把输入发送给打印机

echo "test print" | lpr -P printer_name

 

管道中-符号

示例:

/home里面的文件打包,但打包的数据不是记录到文件,而是传送到stdout,经过管道后,将tar -cvf - /home传送给后面的tar -xvf - ,后面的这个 - 则是取前一个命令的 stdout,因此,就不需要使用临时file

tar -cvf - /home | tar -xvf -

 

重定向到多个目标(tee

命令1 | tee [-a ] 文件名 | 命令2

把命令1STDOUT保存在文件中,做为命令2的输入

-a 追加

使用:

保存不同阶段的输出

复杂管道的故障排除

同时查看和记录输出

 

练习:

1、将/etc/issue文件中的内容转换为大写后保存至/tmp/issue.out文件中

[root@centos7 ~]#cat /etc/issue | tr [[:lower:]] [[:upper:]] > /tmp/issue.out

2、将当前系统登录用户的信息转换为大写后保存至/tmp/who.out文件中

[root@centos7 ~]#who | tr [[:lower:]] [[:upper:]]

3、一个linux用户给root发邮件,要求邮件标题为”help”,邮件正文如下:

Hello, I am 用户名,The system version is here,please help me to check it ,thanks!

操作系统版本信息

[qjy@centos7 ~]$mail -s "help" root <<EOF

Hello, I am `whoami`, The system version is here, please help me to check it, thanks!

`cat /etc/redhat-release`

EOF

4、将/root/下文件列表,显示成一行,并文件名之间用空格隔开

[root@centos7 ~]#ls /root | tr '\n' ' '

5、计算1+2+3+..+99+100的总和

echo {1..100} | tr ' ' + | bc

seq -s + 100 | bc

也可用循环

6、删除Windows文本文件中的‘^M’字符

[root@centos7 data]#hexdump -C win.txt

00000000  61 0d 0a 62 0d 0a 63                           |a..b..c|

00000007

[root@centos7 data]#tr -d '\15' < win.txt >win2.txt

[root@centos7 data]#hexdump -C win2.txt

00000000  61 0a 62 0a 63                                 |a.b.c|

00000005

[root@centos7 data]#tr -d '\r' < win.txt >win3.txt

[root@centos7 data]#hexdump -C win3.txt

00000000  61 0a 62 0a 63                                 |a.b.c|

00000005

7、处理字符串“xt.,l 1 jr#!$mn 2 c*/fe 3 uz 4”,只保留其中的数字和空格

答:echo 'xt.,l 1 jr#!$mn 2 c*/fe 3 uz 4' | tr -dc 'a-z '

8、将PATH变量每个目录显示在独立的一行

答:echo $PATH | tr : '\n'

9、将指定文件中0-9分别替代成a-j

答:tr '0-9' 'a-j' < a.txt > a.txt

10、将文件/etc/centos-release中每个单词(由字母组成)显示在独立的一行,并无空行

答:[root@centos7 ~]#cat /etc/centos-release | tr -dc '[:alpha:] ' | tr -s ' ' '\n'

CentOS

Linux

release

Core

 

例:创建随机小写字母文件名

[root@centos7 data]#touch `openssl rand -base64 12 | tr -dc '[:lower:]'`

 

思考:

以下4项哪一项是与众不同的?

A cmd > log 2>&1

B cmd 2>&1 > log

C cmd &> log

D cmd 2>log >&2

答案:B