命令:grep -ri '23/Mar/2017'  access.log  | awk -F"|" '{print $2}' | sort -r |uniq -c | sort -k1,1nr统计log各ip访问的次数grep -ri '23/Mar/2017'  access.log  | awk -F"|" '{print $2}' | sort |
原创 2017-03-24 10:36:32
794阅读
今天对awkuniq、sort三个命令做了基础功能的学习,这里自己记录一下:1.awk(数据处理工具,将一行分割成多个“字段”来处理)    awk -F '文本切割符'‘{处理过程}’ 文件名称如:cat /ect/passwd | awk -F ':' '{print $1}'   #以:分割,打印第一列的数据;如果为$0表示整个文件内容&n
转载 精选 2016-03-31 17:23:42
1052阅读
uniq [选项] 文件 说明:这个命令读取输入文件,并比较相邻的行。在正常情况下,第二个及以后更多个重复行将被删去,行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件。输入文件和输出文件必须不同。如果输入文件用“- ”表示,则从标准输入读取。 该命令各选项含义如下:、 – c 显示输出,在每行行首加上本行在文件中出现的次数。它可
转载 精选 2012-01-31 23:15:44
2034阅读
log基本行为:my mempool new called, return:0xd20c50, size:#32#, cnt:633需要取所有行的size后面的数值统计数量并排序:cat log| awk -F"#" '{print $2}'|sort -n|uniq -c|sort -rnsort -n: 按数值排序uniq -c: 统计数据,把相同行合并,前面是相同行的数量sort -rn:
原创 2017-06-14 09:19:07
1230阅读
1点赞
统计文件第一列同一IP出现的次数cat test123.122.123.12 12121212121.2332.121.11 232323255.255.255.255 21321123.122.123.12 12121212123.122.123.12 1212121er2123.122.123.12 12121212eer123.122.123.12 12121212ere255.255.
原创 2014-07-31 11:23:00
873阅读
sortsort 命令对 File 参数指定的文件的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。sort语法[root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数:-f  :忽略大小写
原创 2015-12-25 10:31:59
1119阅读
这条命令的意思:lastb | awk -F " " '{print $3}' | sort | uniq -c | sort -k1,1nr > output.log 过滤出攻击服务器
转载 2019-01-16 14:05:00
149阅读
2评论
# Pythonuniq()函数详解 在Python,`uniq()`函数是用来从一个可迭代对象中去除重复的元素,并返回一个新的列表。这个函数非常方便地帮助我们处理重复的数据,提高数据处理的效率。 ## 1. 什么是uniq()函数? `uniq()`函数是Python内置的函数,它可以去除一个可迭代对象的重复元素,并返回一个新的列表。这个函数的原理是利用集合(set)的特性,而集合
原创 2023-09-08 03:43:02
267阅读
day 08 重定向/管道/sort/uniq/awk详解 什么是输出重定向 简单说,就是把本来输出到屏幕上的信息保存到指定的文件,这个过程就叫重定向 重定向使用场景 1.希望将输出的信息保存下来 2.希望将运行程序的执行结果保存下来 3.希望忽略某些命令的警告或者错误信息 4.希望将错误信息和正 ...
转载 2021-09-27 17:26:00
173阅读
2评论
  都支持regular expression  1. find  -name 按名字查找  -perm 根据权限查找  -ctime –n +m 根据创建时间查找,-n n天内,+n n天之前  -mtime –
转载 精选 2011-09-20 00:08:14
783阅读
今天对awkuniq、sort三个命令做了基础功能的学习,这里自己记录一下:1.awk(数据处理工具,将一行分割成多个“字段”来处理)    awk -F '文本切割符'‘{处理过程}’ 文件名称如:cat /ect/passwd | awk -F ':' '{print $1}'   #以:分割,打印第一列的数据;如果为$0表示整个文件内容&n
原创 2014-11-24 23:34:39
10000+阅读
[root@bogon 桌面]# cat booklist.txt9787302115199978730214220197873021151999787115242907978711525329397873021...
原创 2022-05-03 13:23:06
123阅读
本文介绍在CentOS 8,通过AWK、Sort、Uniq三个命令,对Apache日志进行分析。 基础准备:1. 查看Apache Log的格式 通过命令head /var/log/httpd/access_log,获取Apache日志如下。 10.10.0.1 - - [23/Mar/2020:
原创 2022-05-13 10:22:31
232阅读
GREP、SED、AWK、TR、SORT、UNIQ的一些用法一、将当前目录下(包括子目录)的以.shell结尾的普通文件全部重命名为.sh结尾view plaincopy to clipboardprint?01.for i in `find ./ -name '*.shell' -type f `; do mv -f $i `echo $i | sed 's/shell$/sh/'`; done
转载 精选 2011-05-12 14:23:04
2317阅读
Linux 系统,有很多用于快速处理数据的工具如grep awk cut sort uniq sort,他们非常非常地好用。 如果你熟练掌握他们的使用技巧,他们则可以帮你快速定位问题。最近碰到一个案例。 一个项目上数据库系统, ORACLE ,运行在 LINUX 上,报进程数满了。看到这类问题,您不需要去深究什么警告日志,数据库中进程状况啊等等。马上 在操作系统层面上看看有哪些服务器连接到这台数
原创 2013-01-23 14:22:19
894阅读
uniq 功能说明:去除重复行。 参数选项: -c 去除重复行,并计算每行出现的次数。 -d 只显示重复的行。 -u 只显示唯一的行。 去重范例 [root@testdb ~]# cat a.log 10.0.0.4 10.0.0.4 10.0.0.4 10.0.0.5 10.0.0.5 10.0.
转载 2018-08-03 22:13:00
128阅读
uniq [选项] 文件 说明:这个命令读取输入文件,并比较相邻的行。在正常情况下,第二个及以后更多个重复行将被删去,行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件。输入文件和输出文件必须不同。如果输入文件用“- ”表示,则从标准输入读取。 该命令各选项含义如下:、 – c
原创 2022-06-27 11:44:13
42阅读
  1.语法语法:  去掉相邻的相同行;报告重复行选项:选项说明-c输出增加一列,显示行的重复次数-d仅打印重复了的行-i忽略大小写-u仅打印唯一行2.实例  输出重复的次数[view@tri ~]$ cat uniq.txt sale    2300 sale    6100 sale&
原创 2015-02-04 21:43:27
813阅读
uniq命令:从输入删除前后相接的重复的行,删除相邻的重复行uniq[option]......[]file]......-c:显示每行重复出现的次数(相邻的)-d:仅显示重复过的行(相邻的)-u:仅显示不曾重复的行(相邻的)注:连续且完全相同方为重复!!!!常和sort一起搭配使用:sortuserlist.txt|unique-ccut-d“”-f1/var/log/httpd/acces
原创 2020-10-04 22:13:27
342阅读
cat test|uniq 对重复的行只保留一行  
原创 2021-08-26 14:48:50
79阅读
  • 1
  • 2
  • 3
  • 4
  • 5