log日志文件一般在什么目录下java logpaser日志文件类型

转载

技术极客领袖 2024-01-26 21:41:48

文章标签 log日志文件一般在什么目录下java IIS 日志文件 CSV 文章分类 Java 后端开发

LogParser介绍

LogParser是微软的一个免费的日志分析工具，它支持许多格式的文件类型。主要有如下几类：
· IIS 文件格式
Ø IISW3C: IIS产生的W3C扩展格式
Ø IIS: IIS专有格式.
Ø BIN: IIS的BIN格式.
Ø IISODBC: IIS可以把日志存储在数据库中。LogParser可以分析存储在数据库中的IIS日志.
Ø HTTPERR: Http.sys日志格式.
Ø URLSCAN: URLScan 日志格式.
· 通用文本格式
Ø CSV: 逗号分隔符文件.
Ø TSV: 以空格或者以制表符分隔的文件.
Ø XML: XML格式.
Ø W3C: W3C格式.
Ø NCSA: NCSA格式.
Ø TEXTLINE: 普通文件文件. LogParser可以按行返回内容
Ø TEXTWORD: LogParser可以把按字返回内容.
· 系统信息
EVT:　事件日志文件.
FS: 文件目录.
REG: 注册表格式.
ADS: AD信息.
另外还有一些其它格式，如NetMon， ETW等，在此不详述了。

LogParser原理

LogParser架构如下图所示：

注：图片引自http://e-mojo.net/wp-content/uploads/2009/11/logparser_architecture.gif
LogParser的核心为类SQL引擎，主要用于LogParser的SQL解析。使用LogParser我们可以把日志文件转换为很多格式，然后，我们可以用自己顺手的工具对其进行分析。

需要注意的是，如果我们要输出图形格式，必须安装Office Web组件。

IIS高级日志分析

本文主要介绍一些高级IIS日志分析功能，基本的分析功能请参考这些BLOG：
http://hi.baidu.com/tpxc/blog/item/b6e4561060f2ecf9c2ce7931.html

每天用户访问数
logparser "SELECT To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time))) AS [Date1], c-ip AS CIP INTO IISHC_DistinctClientIPPerDay.csv FROM *.log GROUP BY [Date1], CIP" -i:IISW3C -o:CSV -recurse:-1
我们按日期进行汇总，主要是利用Group by 实现。由于IIS日志中时间为UTC格式，因此，我们需要使用To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time)))把其转换为本地时间。
recurse:-１参数使LogParser对子目录下所有文件进行统计。
本例中产生一个CSV文件，我们可以使用Excel进行处理，得出每天用户数曲线（当然，我们也可以直接用LogParser产生图形）。如下是一个例子：

每小时用户访问数
logparser "SELECT TO_LOCALTIME(QUANTIZE(TO_TIMESTAMP(date, time),3600)) AS Hours, COUNT(*) AS Hits INTO IISHC_RequestsPerHour.csv FROM *.log where To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time)))=TIMESTAMP('10/08/2010','MM/dd/yyyy' ) GROUP BY Hours ORDER BY Hours" -i:IISW3C -o:CSV -recurse:-1
主要用法与上例类似。不过我们需要指定日期。指定日期在where To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time)))=TIMESTAMP('10/08/2010','MM/dd/yyyy' )中实现。

拆分文件
缺省情况下，IIS每天产生一个日志文件。对于一些特别繁忙的网站来说，IIS日志文件可能会非常大。我曾经有一个客户，每个日志文件有２个G之多。这么大的文件用LogParser进行分析时会非常慢，同时也很容易报错。

解决办法是把日志文件进行拆分成许多小文件分别进行分析。如下命令可以把一个IIS日志按小时分成２４个文件：

logparser "SELECT REPLACE_CHR(REPLACE_CHR(TO_STRING(TO_LOCALTIME(QUANTIZE(TO_TIMESTAMP(date, time), 3600)), 'yyyy-MM-dd hh:mm:ss'), ':', '_'), ' ', '_'), date, time, c-ip, cs-uri-stem, cs-uri-query, sc-status, sc-substatus, sc-win32-status, sc-bytes, cs-bytes, time-taken FROM ex080114.log TO ex080114_*.log" -i:IISW3C -o:W3C