开源日志分析工具有哪些
监视网络活动可能是一项繁琐的工作，但是有充分的理由要做。 首先，它可以让您查找并调查工作站，连接到网络的设备和服务器上的可疑登录，同时识别管理员滥用的根源。 您也可以跟踪软件的安装和数据传输，以实时识别潜在问题，而不是在损坏完成之后。
这些日志还有助于使您的公司遵守适用于欧盟内部任何实体的通用数据保护条例 （GDPR）。 如果您拥有在欧盟可以浏览的网站，则符合资格。
日志记录（包括跟踪和分析）应该是任何监视基础结构中的基本过程。 要从灾难中恢复SQL Server数据库，必须使用事务日志文件。 此外，通过跟踪日志文件，DevOps团队和数据库管理员（DBA）可以保持最佳的数据库性能，或者在发生网络攻击的情况下查找未经授权的活动的证据。 因此，定期监视和分析系统日志很重要。 这是重新创建导致出现任何问题的事件链的可靠方法。
今天，有许多开源日志跟踪器和分析工具可供使用，这使得为活动日志选择正确的资源比您想象的要容易。 自由和开源软件社区提供了可与各种站点以及几乎所有操作系统一起使用的日志设计。 以下是我用过的五个最好的应用，排名不分先后。
Graylog
Graylog于2011年在德国开始运营 ，现在已作为开源工具或商业解决方案提供。 它被设计为集中式日志管理系统，可以接收来自各种服务器或端点的数据流，并允许您快速浏览或分析该信息。
Graylog易于扩展，因此在系统管理员中赢得了良好的声誉。 大多数Web项目从小规模开始，但可以成倍增长。 Graylog可以平衡后端服务器网络上的负载，每天可以处理几TB的日志数据。
IT管理员会发现Graylog的前端界面易于使用且功能强大。 Graylog围绕仪表板的概念而构建，该仪表板使您可以选择最有价值的指标或数据源，并随时间快速查看趋势。
当发生安全或性能事件时，IT管理员希望能够尽快地将症状追溯到根本原因。 Graylog中的搜索功能使此操作变得容易。 它具有内置的容错能力，可以运行多线程搜索，因此您可以一起分析几种潜在的威胁。
纳吉奥斯
Nagios于1999年成立时只有一个开发人员，此后已发展成为用于管理日志数据的最可靠的开源工具之一。 当前版本的Nagios可以与运行Microsoft Windows，Linux或Unix的服务器集成。
它的主要产品是日志服务器，旨在简化数据收集并使系统管理员更容易访问信息。 Nagios日志服务器引擎将实时捕获数据并将其输入到功能强大的搜索工具中。 借助内置的设置向导，可以轻松地与新的端点或应用程序集成。
Nagios最常用于需要监视其本地网络安全性的组织中。 它可以审核一系列与网络相关的事件，并帮助自动分配警报。 如果满足特定条件，甚至可以将Nagios配置为运行预定义的脚本，从而使您可以在人员参与之前解决问题。
作为网络审核的一部分，Nagios将根据日志数据的来源过滤日志数据。 这意味着您可以使用映射技术构建全面的仪表板，以了解网络流量的流向。
弹性堆栈（“ ELK堆栈”）
Elastic Stack （通常称为ELK Stack）是组织中最流行的开源工具之一，它们需要筛选大量数据并弄清其系统日志（这也是个人喜好）。
它的主要产品由三种独立的产品组成：Elasticsearch，Kibana和Logstash：
- 顾名思义， Elasticsearch旨在帮助用户使用多种查询语言和类型在数据集中查找匹配项。 速度是该工具的头号优势。 它可以扩展到数百个服务器节点的群集中，以轻松处理PB级的数据。
- Kibana是与Elasticsearch一起运行的可视化工具，可让用户分析其数据并构建功能强大的报告。 在服务器集群上首次安装Kibana引擎时，您将可以访问显示数据的统计信息，图形甚至动画的界面。
- ELK Stack的最后一块是Logstash ，它充当进入Elasticsearch数据库的纯服务器端管道。 您可以将Logstash与多种编码语言和API集成在一起，以便将来自网站和移动应用程序的信息直接输入到功能强大的Elastic Stalk搜索引擎中。
ELK Stack的独特功能是它允许您监视基于WordPress的开源安装构建的应用程序。 与大多数跟踪管理员和PHP日志的现成的安全审核日志工具相反，ELK Stack可以筛选Web服务器和数据库日志。
不良的日志跟踪和数据库管理是网站性能不佳的最常见原因之一 。 无法定期检查，优化和清空数据库日志不仅会减慢站点速度，还可能导致完全崩溃。 因此，ELK Stack是每个WordPress开发人员工具包的绝佳工具。
逻辑分析
LOGalyze是一家位于匈牙利的组织，为系统管理员和安全专家构建开源工具，以帮助他们管理服务器日志并将其转变为有用的数据点。 其主要产品可免费下载，供个人或商业使用。
LOGalyze旨在用作大型管道，其中多个服务器，应用程序和网络设备可以使用简单对象访问协议（SOAP）方法来馈送信息。 它提供了一个前端界面，管理员可以在其中登录以监视数据收集并开始对其进行分析。
在LOGalyze Web界面内，您可以运行动态报告并将其导出为Excel文件，PDF或其他格式。 这些报告可以基于LOGalyze后端管理的多维统计信息。 它甚至可以合并跨服务器或应用程序的数据字段，以帮助您发现性能趋势。
LOGalyze旨在在不到一个小时的时间内进行安装和配置。 它具有预先构建的功能，可以按法规要求的格式收集审核数据。 例如，LOGalyze可以轻松运行不同的HIPAA报告，以确保您的组织遵守健康法规并保持合规性。
流利的
如果您的组织中的数据源位于许多不同的位置和环境中，则您的目标应该是尽可能地集中它们。 否则，您将难以监视性能并防范安全威胁。
Fluentd是用于数据收集的强大解决方案，并且是完全开源的。 它没有提供完整的前端接口，而是充当收集层以帮助组织不同的管道。 Fluentd已被全球一些最大的公司使用，但也可以在较小的组织中实施。
Fluentd的最大好处是与当今最常见的技术工具兼容。 例如，您可以使用Fluentd从Web服务器（如Apache），智能设备的传感器以及MongoDB的动态记录中收集数据。 您如何处理这些数据完全取决于您自己。
Fluentd基于JSON数据格式，可以与由知名开发人员创建的500多个插件结合使用。 这使您可以将日志记录数据扩展到其他应用程序中，并以最小的人工工作来推动更好的分析。
底线
如果出于安全原因，政府合规性和衡量生产力的原因尚未使用活动日志，请承诺进行更改。 市场上有很多旨在与多种环境和平台一起使用的插件，即使在您的内部网络上也是如此。 不要等待严重的事件证明采取主动的方法进行日志维护和监督是合理的。
开源日志分析工具有哪些
