最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a，与++a正好相反。2：hash的初始是undef,
原创
2014-07-25 15:32:00
514阅读
对于awk '!a[$3]++'，需要了解3个知识点
1、awk数组知识，不说了。
2、awk的基本命令格式 awk 'pattern{action}'
省略action时，默认action是{print}，如awk '1'就是awk '1{print}'
3、var++的形式：先读取var变量值，再对var值+1
以数据为例:
1 2 3
1 2 3
1 2 4
1 2 5
转载
2012-04-23 23:08:20
2545阅读
http://www.sina.com.cn
http://www.sina.com.cn
################
http://www.163.com.cn
转载
精选
2012-04-23 23:11:35
555阅读
awk -F"," '!_[$3]++' filename
原创
2023-12-22 17:32:01
141阅读
最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a，与++a正好相反。2：hash的初始是undef,
转载
精选
2014-06-30 14:53:17
467阅读
文件管理之：联网下载文件(wget、curl)、文件上传与下载(rz、sz)----wget、curl联网下载文件----1.CentOS7 系统最小化安装默认没有wget命令，需要进行安装[root@oldboyedu ~]# yum install wget -y2.找到我们需要下载的资源复制资源的链接地址---->3.在linux上使用wget命令进行下载(默认下载到当前目录来)4.由
awk技巧-awk去重也可以这么简单最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a
转载
精选
2013-08-06 17:35:25
6187阅读
题目：有一文档中有如下内容，写一个shell脚本实现去重，逆序也算重复。例如a b c 和 c b aa b cd e fa d c d e fc bc b ax y zx y za bz y xz xx ya d c da b ca b cabc思路：打个比方比如有一个箱子里面装着2 个红球2 个绿球2 个蓝球cc 文件有多少行就循环多少次第一个循环现在要去重，这时候我们可以从里面随
原创
2017-10-31 10:18:34
2480阅读
1.简介 grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就说，正则表达式中的元字符表示回其自身的字面意义，不再
转载
2024-04-26 14:01:27
387阅读
sort demo|uniq|wc -lcat demo |wc -l[zhenan@kael236 ~]$ cat demo |wc -l8[zhenan@kael236 ~]$ sort demo |uniq|wc -l6[zhenan@kael236 ~]$ [zhenan@kael236 ~]$ cat demo &nb
原创
2014-09-30 14:45:00
638阅读
第一：两个文件的交集，并集前提条件：每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)3. 删除交集，留下其他的行1. cat file1 file2 | sort | uniq > file32. cat file1 f
转载
2017-10-18 13:50:00
693阅读
2评论
hbase操做hbase web操作访问地址 http://hmaster:60010hmaster的ip配置在$HBASE_HOME/conf/hbase-site.xml中ip映射成主机名 在env/hosts中配置 在windows系统中的C:\Windows\System32\drivers\etc目录下的hosts文
转载
2024-08-22 22:15:40
47阅读
对于awk的使用一直处于一个打印文件域的阶段，对于sed和awk没有深究过，有本书是专门讲解awk和sed的《awk and sed》。以为学习shell脚本只要稍微能打印出文件中的某一个域就行了。结果今天碰到钉子了。有个test的内容如下：cat test.txt
192.168.0.18
1121
1122
192.168.0.19
2122
3232
3356
192.168
原创
2013-05-24 10:47:54
768阅读
1.awk流逝编辑器，支持分段，列的处理。 Awk参数 Awk语句 2.理解语句awk –F‘：’‘{print $0}’与awk –F‘：’‘$1=1{print $0}’区别。 新增拓展2 awk中同时提供了print和printf两种打印输出的函数。 print函数的参数可以是变量、数值或者字
转载
2018-01-14 21:22:00
206阅读
grep-c 只打印匹配模式的行编号记数-I 在匹配文本时忽略大小写-n 在每行前显示其行编号-v 逆向输出，打印不匹配的行-f file 要匹配的字符串列表在filezhonggrep ‘[Tt]his’ file1.txt 设置大小写grep ‘^[^#]‘ file2.txt 不匹配行首gre...
转载
2015-07-27 17:25:00
107阅读
2评论
逛ChinaUnix论坛，常常可看到到日经帖，怎么快速排序一个文本内容，或者计算某行出现次数。这些问 题大部分都可以通过简单的sort、uniq命令来解决。首先准备两个文本cat file1：Boys in Company C :HK :192 :2192Alien &nbs
原创
2014-10-14 17:20:30
10000+阅读
