最近公司系统升级，有些API的调用接口达到了每天10几万的请求量。目前公司里的日志，都是写文本文件中的。为了能够更好的分析这些日志数据，公司采用了AWS 的 ElasticSearch服务来分析日志。这篇文章记录了如何使用AWS上的ElasticSearch，以及需要注意那些坑。 1. 准备条件1. 注册AWS的账号（注册AWS需要信用卡哦！）2. 开通ElasticSearch服务
文章目录一、文件包含概念二、文件包含漏洞原理三、文件包含分类文件包含分为两种：四、与文件包含相关的配置文件：（php.ini文件）五、与文件包含有关的函数1、include()2、include_once()3、require()4、require_once()六、文件包含常见特征1、在某个URL或者某个参数里面出现如下特征都可以去尝试2、8009端口3、检测方法七、本地文件包含漏洞常被利用方法
# 实现Hadoop GZ日志压缩
## 概述
在本文中，我将向你介绍如何使用Hadoop的压缩功能将日志文件以GZ格式进行压缩。这将有助于减少磁盘空间的使用和提高数据传输的效率。
## 流程概览
下面是实现Hadoop GZ日志压缩的整个流程的概览。
| 步骤 | 描述 |
| --- | --- |
| 1 | Hadoop配置文件中启用压缩功能 |
| 2 | 创建一个MapReduc
原创
2024-01-29 08:15:44
79阅读
less 工具也是对文件或其它输出进行分页显示的工具，应该说是linux正统查看文件内容的工具，功能极其强大。less 的用法比起 more 更加的有弹性。在 more 的时候，我们并没有办法向前面翻， 只能往后面看，但若使用了 less 时，就可以使用 [pageup] [pagedown] 等按键的功能来往前往后翻看文件，更容易用来查看一个文件的内容！除此之外，在 less 里头可以拥有更多的
转载
2024-05-20 11:45:46
80阅读
概述linux环境下，日常应用中都离不开日志。日志是我们在排查问题的一个重要依据。但是日志并不是写了就好了，当你想查看日志的时候，你会发现线上日志堆积的长度已经超越了你一行行浏览的耐性的极限了。于是，很有必要通过一些手段来高效地辅助你来快速的从日志中找到你要找的问题。最基础的日志查看命令tail -100f duweixin.log #监控最后100行日志文件的变化 等与 tail -n 100
9.2. GC日志1）特别说明 每种垃圾回收器的日志格式是不同的2）实际生产中日志参数设置 在实际生产中要保存的日志格式如下所示，至少需要包含以下内容： -Xloggc:/opt/xxx/logs/xxx-xxx-gc-%t.log 设置日志的保存位置 -XX:+UseGCLogFileRotation 设置日志循环保存 -XX:NumberOfGCLogFiles=5 设置使用5个日志文件 -X
转载
2024-06-29 12:37:41
78阅读
正则表达式： 1：basic REGEXP 2：extended REGEXPgrep -E ：表示后面的是扩展正则表达式 -A (after) :显示匹配到的行和他后面的n行。grep -A 3 /proc/cpuinfo -B (before)：………………………前面的
原创
2017-03-22 10:40:37
390阅读
1、日志框架类似于JDBC驱动，日志框架也有接口和具体实现，我们通过调用接口API实现功能，按照实际需要给项目中导入具体的日志实现框架的jar包就行了。 市面上的日志框架很多日志门面 （日志的抽象层）日志实现JCL（Jakarta Commons Logging） SLF4j（Simple Logging Facade for Java） jboss-loggingLog4j JUL（java.u
转载
2024-07-08 22:23:36
49阅读
AopLog是基于Spring Aop 和ThreadLocal实现的一个专门对请求方法内容日志的拦截与处理的日志工具包。场景 :我想知道一些重要的请求方法的请求参数,响应参数,请求头,以及耗时,方法是成功还是失败等等信息。普通的log.info或warn信息没有所属请求的上下关系,我不知道执行到哪一步发生了异常，并不方便查看和分析。正式环境中,我并不想打印太多无意义的info日志(有些只是为了排
转载
2024-04-23 20:07:08
10阅读
一、grep文本过滤工具 工作特性：根据用户指定的“模式(过滤条件)”对目标文本逐行进行匹配检查；打印匹配到的行；· 用法： grep [OPTIONS] PATTERN[FILE...] egrep [OPTIONS] PATTERN[FILE...] 常用选项： &n
转载
2024-03-06 16:01:00
76阅读
grep/egrepgrep/egrepgrep一般格式为：grep [选项] 基本正则表达式 [文件]这里基本正则表达式可为字符串。(1)输入字符串参数时，最好将其用双引号括起来。例如："mystring"(2)在调用变量时，也应该使用双引号，诸如： grep "$MYVAR" 文件名(3)在调用模式匹配时，应使用单引号。例：grep '48[34]' data.txt常用的grep选项有：-c
原创
2014-04-30 14:24:59
763阅读
正则表达式是基于样式匹配的进行文本处理，透过一些特殊符号的辅助，可以达到搜寻、删除、取代某特定的字符串。
grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。
我们利用这些返回值就可进行一些自动化的文本处理工作。
正则表达式分为基本正则表达式和扩展正则表达式；grep:
原创
2014-05-23 18:26:32
542阅读
在开发脚本的时候，我们总会发现需要调用的某些字符串时有规律的。通过筛选、提取和调用这些有规律的字符串，完善脚本的处理流程。正则就是这么一串有规律的字符串。在各种编程语言中都有正则，原理基本一致。在linux学习中，掌握好正则对于编写shell脚本能打下深厚根基。 grep/egrep是shell脚本中常用的筛选命令之一。通过该命令配合正则表达式
原创
2017-07-03 23:20:00
596阅读
首先要记住的是: 正则表达式与通配符不一样,它们表示的含义并不相同!正则表达式只是一种表示法,只要工具支持这种表示法， 那么该工具就可以处理正则表达式的字符串。vim、grep、awk 、sed 都支持正则表达式，也正是因为由于它们支持正则，才显得它们强大；在以前上班的公司里，由于公司是基于web的
转载
2019-07-05 15:33:00
53阅读
' HEADERABC' egrep -ha '^.{1}(HEAD)' 1.txt | egrep -ha '^.{7}(A)' > 2.txt 'HEADERABC' egrep -ha '^(HEAD)' 1.txt > 2.txt egrep -ha '^.{0}(HEAD)' 1.txt > 2.txt ' HEADERABC' ' TAILER123' egrep -ha '...
转载
2019-07-01 18:06:00
49阅读
egrep命令 egrep命令用于模式搜索，属于grep函数族，工作原理和grep -E一样，其将模式视为扩展正则表达式，并打印出与模式匹配的行，如果有多个文件具有匹配的模式，其还能显示每行的文件名。 语法 egrep [options] PATTERN [FILE...] 参数 -A NUM, -
原创
2022-05-28 00:34:55
433阅读
一、使Eclipse选择适合的颜色、主题、字体大小 （推荐使用Eclipse oxygen） 1.打开eclipse→Windows→Preferences→General→Apperance选择主题Theme为Dark 2.继续打开eclipse→Windows→Preferences→General→Apperance→Color and Fonts→Basic→Text F
转载
2024-10-25 09:55:23
62阅读
egrep 命令用途搜索文件获得模式。语法egrep [ -h ] [ -i ] [ -p [ Separator ] ] [ -s ] [ -v ] [ -w ] [ -x ] [ -y ] [ [ -b ] [ -n ] | [ -c | -l | -q ] ] { { -ePattern | -fStringFile } ... | Pattern } [ File .
转载
精选
2013-10-09 15:30:42
1238阅读
尽管Excel使用了很多年，但很多人都还是忽略了Excel通配符的存在，不知道通配符是什么，不知道如何使用它。今天我就完整地介绍一下通配符，让你彻底地认识通配符。关于通配符的含义通配符是Excel中一个常用的辅助符号，比较常用的通配符有3个，主要是星号(*)、问号(?)，以及波形符号(~)。它们主要是运用在平时的查找、替换、筛选、公式中，若熟练掌握通配符的运用，可以让你大大提高工作效率。现在来看下
在XPE的运行镜像上，我们通常使用ewfmgr.exe来管理和控制EWF。本文将主要介绍ewfmgr的各项命令参数和使用方法。如果想在构建好的XPE运行镜像上运行EWF的管理控制程序，我们首先需要在开发阶段加入EWF Manager Console application组件和CMD - Windows Command Processor组件。 q+j.)e
3CKd[=-Z我们调用EWF的
转载
2024-09-20 10:32:28
106阅读
