命令:grep -ri '23/Mar/2017'  access.log  | awk -F"|" '{print $2}' | sort -r |uniq -c | sort -k1,1nr统计log中各ip访问的次数grep -ri '23/Mar/2017'  access.log  | awk -F"|" '{print $2}' | sort |
原创 2017-03-24 10:36:32
792阅读
在Linux系统中,grep、awksort是非常常用的命令,特别在处理文本数据时,它们能够派上大用场。 首先是grep命令,它是一种强大的文本搜索工具,用于在文件中搜索特定的模式。使用grep命令可以帮助用户快速定位所需信息,从而提高工作效率。例如,如果要从一个文本文件中查找包含特定关键词的行,可以使用grep命令加上关键词来完成这个任务。另外,grep命令还支持使用正则表达式进行搜索,这使
原创 2024-04-23 11:29:25
51阅读
awk:文本分析工具(查询统计分析)把文件逐行度入,以空格为默认分隔符将每行切片,切片的部分在进行各种分析处理,因为切开的部分使用awk可以定义变量,运算符,使用流程控制语句进行深度加工与分析。参数:-F:指定输入文件拆分分隔符-v:赋值一个用户定义变量awk:内置变量FILENAME:awk浏览的文件名NF:浏览记录的域的个数,根据分隔符分隔后的列数NR:已读的记录数,也是行号$0:变量是指整条
转载 2021-05-04 22:10:13
293阅读
2评论
今天对awk、uniq、sort三个命令做了基础功能的学习,这里自己记录一下:1.awk(数据处理工具,将一行分割成多个“字段”来处理)    awk -F '文本切割符'‘{处理过程}’ 文件名称如:cat /ect/passwd | awk -F ':' '{print $1}'   #以:分割,打印第一列的数据;如果为$0表示整个文件内容&n
转载 精选 2016-03-31 17:23:42
1048阅读
sort  排序 默认从小到大 -r 反转 -n 数值 -k 指定字段 uniq  去重   (只能对一个字段  必须要排序在去重) -c 统计 awk 可以利用这个命令获取想要的数据 基本使用  利用行和列获取数据 获取当前系统中所有的用户名 cat /etc/passwd | awk -F: '{print $1}' $1 &nbs
原创 2024-04-10 21:49:54
77阅读
log基本行为:my mempool new called, return:0xd20c50, size:#32#, cnt:633需要取所有行的size后面的数值统计数量并排序:cat log| awk -F"#" '{print $2}'|sort -n|uniq -c|sort -rnsort -n: 按数值排序uniq -c: 统计数据,把相同行合并,前面是相同行的数量sort -rn:
原创 2017-06-14 09:19:07
1227阅读
1点赞
文章目录cut基本用法参数选项案例sed基本用法参数选项命令功能案例awk基本参数选项参数awk的内置变量sort基本语法案例综合案例cut文件中负责剪切数据,将文件中每一行剪切字节,字符和字段,并输出基本用法cut [选项参数] filename说明:
原创 2022-02-16 18:43:09
205阅读
shell工具cut\sed\awk\sort
原创 2021-05-21 16:44:52
1453阅读
1点赞
1. cut cut的工作就是“剪”,具体的说就是在文件中负责 剪贴数据 用的。 cut命令从文件的每一行剪贴字节、字符 和 字段,并将这些字节、字符和字段输出。 1.1 基本用法 cut [选项参数] filename 说明:默认分隔符是制表符 1.2 选项参数说明 1.3 案例 2. sed 简
转载 2020-02-14 17:36:00
131阅读
2评论
文章目录cut基本用法参数选项案例sed基本用法参数选项命令功能案例awk基本参数选项参数awk的内置变量sort基本语法案例综合案例cut文件中负责剪切数据,将文件中每一行剪切字节,字符和字段,并输出基本用法cut [选项参数] filename说明: 默认分隔符是制表符参数选项选项参数功能-f列号,提取第几列-d分隔符,按照指定分隔符分割列-c...
原创 2021-05-31 19:03:55
241阅读
最近在学到了一个长命令,来看看。先看文档:问题:要统计K:0后面不同数字对应的行数,相同的数字属于同一行。看看整个过程和结果:grep是一个强大的文本搜索工具,它利用正则表达式搜索文本。参数很多,这里就不一一说了。awk是一个文本处理器,是linux下的一个命令。功能很多,参数很多。sort是按照字母顺序和数字大小进行排列。uniq删除重复行
原创 2021-06-04 15:50:26
283阅读
Linux 系统中,有很多用于快速处理数据的工具如grep awk cut sort uniq sort,他们非常非常地好用。 如果你熟练掌握他们的使用技巧,他们则可以帮你快速定位问题。最近碰到一个案例。 一个项目上数据库系统, ORACLE ,运行在 LINUX 上,报进程数满了。看到这类问题,您不需要去深究什么警告日志,数据库中进程状况啊等等。马上 在操作系统层面上看看有哪些服务器连接到这台数
原创 2013-01-23 14:22:19
894阅读
此处命名为正则表达式可能不太恰当,大都是一些可能是shell脚本中用到的命令,暂时这样称呼,当然这些命令确实和正则表达式关系密切。 1.grep grep -n '^a’ filename   #-n 打印所过滤出行的行号  过滤以某字符为开头的行grep -n '^[a-z]' filename  过滤以小写字母为开的行 gr
原创 2014-08-15 15:30:33
793阅读
这条命令的意思:lastb | awk -F " " '{print $3}' | sort | uniq -c | sort -k1,1nr > output.log 过滤出攻击服务器
转载 2019-01-16 14:05:00
149阅读
2评论
文件a内容:1     341     231     122     542     213    &nbs
原创 2014-08-27 11:13:46
3924阅读
sortsort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。sort语法[root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数:-f  :忽略大小写
原创 2015-12-25 10:31:59
1119阅读
 awksort命令学习一例 在看awk的过程中闲来网上找些题做做。  #cat  1 12 34 56 23 45 89 78 90 12   然后要求对最后一个域进行排序后输出: 78 90 12 12 34 56 23 45 89   A,方法1 从上面来看需要对数字进行排序,要么自己写算法,要么使用现成的
原创 2013-03-12 10:38:35
10000+阅读
统计文件中第一列中同一IP出现的次数cat test123.122.123.12 12121212121.2332.121.11 232323255.255.255.255 21321123.122.123.12 12121212123.122.123.12 1212121er2123.122.123.12 12121212eer123.122.123.12 12121212ere255.255.
原创 2014-07-31 11:23:00
873阅读
概述        我们日常应用中都离不开日志。可以说日志是我们在排查问题的一个重要依据。但是日志并不是写了就好了,当你想查看日志的时候,你会发现线上日志堆积的长度已经超越了你一行行浏览的耐性的极限了。于是,很有必要通过一些手段来高效地辅助你来快速的从日志中找到你要找的问题。本文通过一个从项目中衍生出来的例子从查找日志,筛选日志和统计日志3个方面层层递进来简
原创 2015-04-27 15:38:30
1840阅读
一 cut cut的工作就是"剪",具体的说就是在文件中负责剪切数据用的.cut命令从文件的每一行剪切字节,字符,和字段并将这些字节,字符和字段输出. 1.基本用法 cut[选项参数] filename 说明:默认分隔符是制表符 2.选项参数说明 -f 列号,提取第几列的 -d 分隔符,按照指定的分 ...
转载 2021-08-20 12:44:00
190阅读
2评论
  • 1
  • 2
  • 3
  • 4
  • 5