文本处理工具sed和vim

8月8号，主要学习内容为：

一、文本处理工具sed

二、vim编辑器

---

一、文本处理工具sed

1）简介

• sed是一种流编辑器，它一次处理一行内容。处理时，把 当前处理的行存储在临时缓冲区中，称为“模式空间”（ pattern space），接着用sed命令处理缓冲区中的内容 ，处理完成后，把缓冲区的内容送往屏幕。接着处理下一 行，这样不断重复，直到文件末尾。文件内容并没有改变 ，除非你使用重定向存储输出。Sed主要用来自动编辑一 个或多个文件,简化对文件的反复操作,编写转换程序等。

• 用法：sed [option]... 'script' inputfile...

• 常用选项：
  -n：不输出模式空间内容的自动打印

  -e: 多点编辑

  -f /PATH/TO/SCRIPT_FILE: 从指定文件中读取编辑脚本

  -r: 支持使用扩展正则表达式

  -i: 原处编辑

  -i.bak ：编辑之前先把文件备份
  

• script: '地址命令'

2）地址定界

• 不给地址：对全文进行处理

• 单地址：

  #: 指定的行

  /pattern/：被此处模式所能够匹配到的每一行

• 地址范围

  #,#

  #,+#

  /pat1/,/pat2/  第一次匹配到pat1的行直到第一次匹配到pat2的行
  

  #,/pat1/

  $:最后一行
  

• ~：步进（每次加多少行）

  1~2  奇数行

  2~2  偶数行

3）编辑命令

d: 删除模式空间匹配的行

p: 显示模式空间中的内容

a \text：在行后面追加文本；支持使用\n实现多行追加

i \text：在行前面插入文本；支持使用\n实现多行插入

c \text：替换行为单行或多行文本

w /path/to/somefile: 保存模式匹配的行至指定文件

r /path/from/somefile：读取指定文件的文本至模式空间中匹配到的行后

=: 为模式空间中的行打印行号

!:模式空间中匹配行取反处理

s///：查找替换,支持使用其它分隔符，s@@@，s### （默认只替换每行第一个）

    替换标记（置于最后）：

        g: 行内全局替换

        p: 显示替换成功的行

        w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中

4）示例

sed ‘2p’  /etc/passwd

sed –n ‘2p’ /etc/passwd

sed –n ‘1,4p’ /etc/passwd

sed –n ‘/root/p’  /etc/passwd

sed –n ‘2,/root/p’  /etc/passwd 从2行开始

sed -n ‘/^$/=’  file    显示空行行号

sed –n –e ‘/^$/p’ –e ‘/^$/=’  file

sed ‘/root/a\superman’  /etc/passwd行后  （root两边要加/）

sed ‘/root/i\superman’ /etc/passwd 行前

sed ‘/root/c\superman’ /etc/passwd 代替行

sed ‘/^$/d’ file

sed ‘1,10d’   file

nl /etc/passwd | sed ‘2,5d’

nl /etc/passwd | sed ‘2a tea’

sed 's/test/mytest/g' example

sed –n‘s/root/&superman/p’ /etc/passwd 单词后

sed –n‘s/root/superman&/p’ /etc/passwd 单词前

sed -e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets 

sed –i.bak  ‘s/dog/cat/g’ pets

5）高级编命令

h: 把模式空间中的内容覆盖至保持空间中

H：把模式空间中的内容追加至保持空间中

g: 从保持空间取出数据覆盖至模式空间

G：从保持空间取出内容追加至模式空间

x: 把模式空间中的内容与保持空间中的内容进行互换

n: 读取匹配到的行的下一行覆盖至模式空间

N：追加匹配到的行的下一行至模式空间

d: 删除模式空间中的行

D：删除多行模式空间中的所有行

示例：

sed -n 'n;p' FILE  显示偶数行

sed '1!G;h;$!d' FILE  逆序显示文件内容

sed -n '1!G;h;$p' FILE  逆序显示文件内容

sed '$!N;$!D' FILE  取出最后两行

sed '$!d' FILE  取出最后一行

sed ‘G’ FILE  在原有的每行后添加一个空白行

sed ‘g’ FILE  每行都以空白行显示

sed ‘/^$/d;G’ FILE  删除原有的空白行，为非空白行后添加一个空白行

sed 'n;d' FILE  显示奇数行

---

二、vim编辑器

1）文本编辑器

vi: Visual Interface，文本编辑器
文本：ASCII,Unicode

文本编辑种类：

    行编辑器：sed

    全屏编辑器：nano，vi

    vim=VI Impromved

2)打开文件

# vim [OPTION]... FILE...

    +#: 打开文件后，直接让光标处于第#行的行首

    +/PATTERN：打开文件后，直接让光标处于第一个被 PATTERN匹配到的行的行首

    vim + file 直接打开file,光标在最后一行

    vim –b file 二进制方式打开文件

    vim –d file1 file2…  比较多个文件

 如果该文件存在，文件被打开并显示内容 如果该文件不存在，当编辑后第一次存盘时创建它

3）编辑模式

• 三种主要模式：
  

    命令模式（默认）：移动光标，剪切/粘贴文本

    插入（编辑）模式：修改文本

    扩展命令模式：保存，退出等

• Esc键 退出当前模式

  Esc键 Esc键 总是返回到命令模式

4）模式转换

•  命令模式 --> 插入模式
  i: insert, 在光标所在处输入

  I：在当前光标所在行的行首输入

  a: append, 在光标所在处后面输入

  A：在当前光标所在行的行尾输入

  o: 在当前光标所在行的下方打开一个新行

  O：在当前光标所在行的上方打开一个新行

•  插入模式 ----> 命令模式 ESC 

• 命令模式 ----> 扩展模式 :

• 扩展模式 ----> 命令模式 ESC 

• 锁定和解锁:CTRL+s,Ctrl+q

5）关闭文件

• 扩展模式

  :q 退出

  :q! 强制退出，丢弃做出的修改

  :wq 保存退出

  :x 保存退出

• 命令模式

  ZZ：保存退出

  ZQ：不保存退出

6）扩展模式（ex模式）

• 在命令模式按“:”进入Ex模式

• 命令

  w 写（存）磁盘文件

  wq 写入并退出

  x 写入并退出

  q  退出

  q！ 不存盘退出，即使更改都将丢失

  r filename 读文件内容到当前文件中

  w  filename  将当前文件内容写入另一个文件

  !command 从vim界面暂时切换至查看command运行结果的界面
  

  r!command 将command运行结果写进正在编辑的文件中
  

7）命令模式光标跳转

•  字符间跳转：

  h: 左 l: 右 j: 下 k: 上    #COMMAND：跳转由#指定的个数的字符

•  单词间跳转：

  w：下一个单词的词首=ctrl+右

  e：当前或下一单词的词尾

  b：当前或前一个单词的词首=ctrl+左   #COMMAND：由#指定一次跳转的单词数

• 当前页跳转： H：页首 M：页中间行 L:页底

• 行首行尾跳转： ^: 跳转至行首的第一个非空白字符； 0: 跳转至行首 $: 跳转至行尾

•  行间移动： #G、（扩展模式：#） ：跳转至由#指定行 G：最后一行 1G, gg: 第一行

•  句间移动： )：   下一句 (：上一句 

• 段落间移动： }:   下一段 {：上一段

• 命令模式翻屏操作
  Ctrl+f: 向文件尾部翻一屏

  Ctrl+b: 向文件首部翻一屏

  Ctrl+d: 向文件尾部翻半屏

  Ctrl+u：向文件首部翻半屏

8）命令模式操作

•  字符编辑：

  x: 删除光标处的字符；

  #x: 删除光标处起始的#个字符

  xp: 交换光标所在处的字符及其后面字符的位置

  ~:转换大小写

• 替换命令(r, replace) r: 替换光标所在处的字符

• 删除命令：

  d: 删除命令，可结合光标跳转字符，实现范围删除

  d$: 删除到行尾

  d^:删除到非空行首（D功能相同）

  d0:删除到行首

  dw: de: db:

  #COMMAND

  dd: 删除光标所在的行 #dd：多行删除
  

•  复制命令(y, yank)：

  y: 复制，行为相似于d命令
  yy：复制行 #yy: 复制多行

  Y: 复制整行

• 粘贴命令(p, paste)：

  p：缓冲区存的如果为整行，则粘贴当前光标所在行的下 方；否则，则粘贴至当前光标所在处的后面

  P：缓冲区存的如果为整行，则粘贴当前光标所在行的上 方；否则，则粘贴至当前光标所在处的前面

•  改变命令(c, change) c: 修改后切换成插入模式(先d再：)

• gU 变大写、gu 变小写 ,都是整行

9）扩展模式

• 地质定界（后跟一个编辑命令d、y）

  :start_pos,end_pos
  #: 具体第#行，例如2表示第2行

  #,#: 从左侧#表示行起始，到右侧#表示行结尾

  #,+#: 从左侧#表示的行起始，加上右侧#表示的行数 ：2,+3  表示2到5行

  .: 当前行

  $: 最后一行

  .,$-1 当前行到倒数第二行

  %：全文, 相当于1,$

  /pat1/,/pat2/ 从第一次被pat1模式匹配到的行开始，一直到第一次被 pat2匹配到的行结束
  #,/pat/

  /pat/,$
  w file: 将范围内的行另存至指定文件中 r  file：在指定位置插入指定文件中的所有内容

• 查找

  /PATTERN：从当前光标所在处向文件尾部查找

  ?PATTERN：从当前光标所在处向文件首部查找

  n：与命令同方向 N：与命令反方向

• 查找并替换（默认情况下，每一行只替换第一次出现）

  s: 在扩展模式下完成查找替换操作
  

  格式：s/要查找的内容/替换为的内容/修饰符

  要查找的内容：可使用模式

  替换为的内容：不能使用模式，但可以使用\1, \2, ... 等后向引用符号；还可以使用“&”引用前面查找时查找到的整个内容

  修饰符： i: 忽略大小写；g: 全局替换； gc:全局替换，每次替换前询问

  查找替换中的分隔符/可替换为其它字符，例如 s@/etc@/var@g s#/boot#/#i

10)其它

• 撤消更改

  u撤销最近的更改

  #u撤销之前多次更改

  U 撤消光标落在这行后所有此行的更改

  按Ctrl - r（取消刚才的“撤消”操作）

  . 重复前一个操作

• 编辑二进制文件
  以二进制方式打开文件 vim –b binaryfile

  扩展命令模式下，利用xxd命令转换为可读的十六进制 :%!xxd
  转换回二进制 :%!xxd –r

• 可视化模式
  v 面向字符 V 面向行

• 多窗口模式

  多文件分割 vim -o|-O FILE1 FILE2 ... -o: 水平分割 -O: 垂直分割 在窗口间切换：Ctrl+w再方向

  单文件窗口分割：
  Ctrl+w,s: split, 水平分割

  Ctrl+w,v: vertical, 垂直分割

  ctrl+w,q：取消相邻窗口

  ctrl+w,o:取消全部窗口

  ：wqall 退出

• 配置vim
  

  配置文件：永久有效

  全局：/etc/vimrc 个人：~/.vimrc

  扩展模式：当前vim进程有效
  (1) 行号：显示：set number, 简写为set nu 取消显示：set nonu
  (2) 括号成对匹配：set sm

  (3) 自动缩进 启用：set ai

  (4) 高亮搜索 启用：set hlsearch 简写：set hl

  (5) 语法高亮 启用：syntax on
  (6) 忽略字符的大小写 启用：set ic
  (7) 文件格式 启用：fileformat=unix 不忽略： fileformat=dos

11)帮助

vi/vim内置帮助

:help

:help topic

Use :q to exit help