最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a，与++a正好相反。2：hash的初始是undef,
原创
2014-07-25 15:32:00
514阅读
http://www.sina.com.cn
http://www.sina.com.cn
################
http://www.163.com.cn
转载
精选
2012-04-23 23:11:35
555阅读
awk -F"," '!_[$3]++' filename
原创
2023-12-22 17:32:01
141阅读
对于awk '!a[$3]++'，需要了解3个知识点
1、awk数组知识，不说了。
2、awk的基本命令格式 awk 'pattern{action}'
省略action时，默认action是{print}，如awk '1'就是awk '1{print}'
3、var++的形式：先读取var变量值，再对var值+1
以数据为例:
1 2 3
1 2 3
1 2 4
1 2 5
转载
2012-04-23 23:08:20
2545阅读
文件管理之：联网下载文件(wget、curl)、文件上传与下载(rz、sz)----wget、curl联网下载文件----1.CentOS7 系统最小化安装默认没有wget命令，需要进行安装[root@oldboyedu ~]# yum install wget -y2.找到我们需要下载的资源复制资源的链接地址---->3.在linux上使用wget命令进行下载(默认下载到当前目录来)4.由
awk技巧-awk去重也可以这么简单最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a
转载
精选
2013-08-06 17:35:25
6187阅读
最近沉迷于shell,沉迷于sed/awk/正则加了个群，今天有人提出了个问题解释下awk '!a[$0]++' file一看之下，首先是想到又用到awk的hash，又是缺省的pattern，一下子来了兴趣，做了以下的分析这个要从awk的执行模式开始说，最后结合++运算符，和hash特色有三个基本知识点是要了解的1：a++的作用是先附值，再累加a，与++a正好相反。2：hash的初始是undef,
转载
精选
2014-06-30 14:53:17
467阅读
题目：有一文档中有如下内容，写一个shell脚本实现去重，逆序也算重复。例如a b c 和 c b aa b cd e fa d c d e fc bc b ax y zx y za bz y xz xx ya d c da b ca b cabc思路：打个比方比如有一个箱子里面装着2 个红球2 个绿球2 个蓝球cc 文件有多少行就循环多少次第一个循环现在要去重，这时候我们可以从里面随
原创
2017-10-31 10:18:34
2480阅读
1.简介 grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就说，正则表达式中的元字符表示回其自身的字面意义，不再
转载
2024-04-26 14:01:27
387阅读
sort demo|uniq|wc -lcat demo |wc -l[zhenan@kael236 ~]$ cat demo |wc -l8[zhenan@kael236 ~]$ sort demo |uniq|wc -l6[zhenan@kael236 ~]$ [zhenan@kael236 ~]$ cat demo &nb
原创
2014-09-30 14:45:00
638阅读
第一：两个文件的交集，并集前提条件：每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)3. 删除交集，留下其他的行1. cat file1 file2 | sort | uniq > file32. cat file1 f
转载
2017-10-18 13:50:00
693阅读
2评论
hbase操做hbase web操作访问地址 http://hmaster:60010hmaster的ip配置在$HBASE_HOME/conf/hbase-site.xml中ip映射成主机名 在env/hosts中配置 在windows系统中的C:\Windows\System32\drivers\etc目录下的hosts文
转载
2024-08-22 22:15:40
47阅读
逛ChinaUnix论坛，常常可看到到日经帖，怎么快速排序一个文本内容，或者计算某行出现次数。这些问 题大部分都可以通过简单的sort、uniq命令来解决。首先准备两个文本cat file1：Boys in Company C :HK :192 :2192Alien &nbs
原创
2014-10-14 17:20:30
10000+阅读
在编写自动化脚本的时候发现,需要使用到循环来遍历某个文件中的内容,但此文件中存在大量的重复无用的数据,需要将其----去重
原创
2022-12-28 17:55:47
75阅读
grep -c 只打印匹配模式的行编号记数 -I 在匹配文本时忽略大小写 -n 在每行前显示其行编号 -v 逆向输出，打印不匹配的行 -f file 要匹配的字符串列表在filezhonggrep ‘[Tt]his’ file1.txt 设置大小写grep ‘^[^#]
转载
精选
2013-08-04 19:37:44
520阅读
点赞
简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU
版本。awk其名称得自于它的创始人 Alfred Aho 、Pet
转载
精选
2015-08-09 00:09:57
240阅读
