一：ELK简介ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。
转载
2024-09-23 08:06:05
117阅读
ELK——日志收集分析平台ELK简介：在开源的日志管理方案之中，最出名的莫过于ELK了，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。1）ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文
转载
2024-05-27 16:58:27
102阅读
如何搭建 Loki开源日志系统？介绍Loki·安装Loki·配置promtail·安装Grafana·展示总结 介绍Loki开源日志解决方案已经开源有一段时间了，对标EFK/ELK，由于其轻量的设计，备受欢迎Loki相比EFK/ELK，它不对原始日志进行索引，只对日志的标签进行索引，而日志通过压缩进行存储，通常是文件系统存储，所以其操作成本更低，数量级效率更高由于Loki的存储都是基于文件系统的
转载
2023-11-04 20:26:41
162阅读
开源日志收集Exceptionless简单使用
原文:
开源日志收集Exceptionless简单使用
这两天在研究一个开源的日志收集工具Exceptionless官网地址：https://exceptionless.com/GitHub地址：https://github.com/exceptionless/Exceptionless官网为我们
前言提及日志收集搜索框架，最常看到的解决方案就是 ELK。虽然现在有 Docker、k8s 帮我们简化了部署流程，但 ELK 对硬件的要求却很高。光是 Elasticsearch 官网就提及到需要 8 GB 内存以上的机器部署，可见占据的资源之多。为了能降本增效(穷~~~)，在网上看到了 Grafana 团队的日志框架: Loki。为此进行了深入的了解并应用在了一些项目上。Loki 介绍Loki
转载
2024-02-23 18:57:27
108阅读
在企业级的平台系统当中，对于日志的收集和分析，一方面对于运维优化有着相应的作用，另一方面日志数据，作为大数据的一种形式，也蕴含着诸多价值。今天的大数据开发学习分享，我们就主要来讲讲，Flume分布式日志系统。 Flume出自Cloudera公司，现如今已经是Apache的顶级项目。市面上与Flume相似的日志收集系统还有Facebook Scribe、
转载
2024-04-14 00:02:25
80阅读
一.为什么需要日志管理平台 作为DevOps工程师，会经常收到分析生产日志的需求。在机器规模较少、生产环境管理不规范时，可以通过分配系统账号，采用人肉的方式登录服务器查看日志。然而高可用架构中，日志通常分散在多节点，日志量也随着业务增长而增加。当业务达到一定规模、架构变得复杂，靠人肉登录主机查看日志的方式就会变得混乱和低效。解决这种问题的方法，需要构建一个日志管理平台：对日志进行汇聚和分析，并通过
转载
2024-03-18 09:18:57
58阅读
1、 ELK简介 1.1、 ELK Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较
转载
2023-09-04 15:29:19
14阅读
随着云计算和容器化技术的兴起，Kubernetes（简称K8S）作为一个开放源代码项目，已经成为容器编排和管理的事实标准。在K8S集群中，日志是非常重要的组成部分，它可以帮助我们实时监控应用程序的运行状态，分析问题，定位bug等。在本篇文章中，我们将介绍如何在K8S集群中搭建一个开源日志系统。
整个过程可以分为以下几个步骤：
| 步骤 | 描述 |
| --
原创
2024-05-15 10:30:13
31阅读
在WAS中配置Log4j 根据您的应用打包情况和需求，首先需要确定log4j的jar包存放的位置。例如，在一个WAS的实例(一个JVM中)，可能会有如下不同的情形： 1、希望一个ear中只有一个Log4j的配置，。此种情况下，可以将log4j-1.2.15.jar放到Ear级别作为J2EE utility jar包(Ear的根目录或者建立一个lib目录)。目录组织结构参见附件的De
概述： 在分布式系统中，经常需要采集各个节点的日志，然后统一分析。本文提供一种简单的方案，本文采用开源日志项目 + 统一数据库结构的方式，在各个开发环境中，提供统一的配置及调用方法，所有的日志均记录在日志服务器中，可以追踪查询任意一个系统节点上任意应用的任意线程的运行状况。 考究现在比较流行的apache的开源日志项目log4j以及它在其他平台的衍生产物
转载
2024-03-19 06:47:17
139阅读
### 简介 ### log4cplus是C++编写的开源的日志系统，前身是java编写的log4j系统.受Apache Software License
保护。作者是Tad E. Smith。log4cplus具有线程安全、灵活、以及多粒度控制的特点，通过将信息划分
优先级使其可以面向程序调试、运行、测试、和维护等全生命周期； 你可以选择将信息输出到屏幕、文件、
NT
转载
2023-08-30 08:07:20
71阅读
1.Loki简介Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：Loki 是主
转载
2023-10-10 00:02:04
235阅读
说起日志系统，不得不提大名鼎鼎的Log4j，特别是使用Java的人们，可以说是无人不知无人不晓无人不用。Log4j以其简单的使用方式（引入一个jar包，一行代码即可调用），灵活（可通过配置文件随意配置），功能强大（多个级别，可配置多个输出目的地，Console，File，系统日志，远端的LogServer等等，可订制日志格式，自动产生，删除日志文件）等等等等特性，一直是Java日志系统的首选。
本文内容概述Facebook 日志系统 ScribeApache 日志系统 ChukwaLinkedin 日志系统 KafkaCloudera 日志系统 Flume总结参考资料同时整理了一下。其实，我不太理解这个网站，姑且不说，页面无法点击右键复制，连微软、Google、Sina 都开放源代码和自己的研究论文，只要地球人知道你辛苦收集的就可以了，至于吗。你所谓的“版权”可以理解，别的文
转载
2024-01-15 14:31:38
108阅读
目前公司用的日志管理工具splunk是免费试用版本，虽然说可以无限试用，但是日志大小500M的限制还是很讨厌，再精简2、3个月也要清理一次。这显然不能满足大部分的企业需求，有没有类似splunk的开源免费日志管理工具呢？网上找了一圈，还真有！graylog介绍先看下官方的定义：https://www.graylog.org/Trusted full-featured log management.
转载
2024-03-08 19:45:41
248阅读
1. 简介log4cplus是C++编写的开源的日志系统，The purpose of this project is to port the excellentLog for Java(log4j)logging library to C++。log4cplus具有灵活、强大、使用简单、多线程安全的特点，实在是杂牌军、游击队的福音。2. 安装使用(Linux)log4cplus安装使用非常简单，
转载
2023-07-19 16:06:38
105阅读
本文内容概述Facebook 日志系统 ScribeApache 日志系统 ChukwaLinkedin 日志系统 KafkaCloudera 日志系统 Flume总结参考资料同时整理了一下。其实，我不太理解这个网站，姑且不说，页面无法点击右键复制，连微软、Google、Sina 都开放源代码和自己的研究论文，只要地球人知道你辛苦收集的就可以了，至于吗。你所谓的“版权”可以理解，别的文
转载
2024-02-06 21:53:58
183阅读
开源日志系统log4cplus(一)
log4cplus是C++编写的开源的日志系统，功能非常全面，用到自己开发的工程中会比较专业的，：），本文介绍了log4cplus基本概念，以及如何安装，配置。 ### 简介 ###log4cplus是C++编写的开源的日志系统，前身是java编写的log4j系统.受Apache Software License
保护。作者是Tad E. Smith。log
转载
2023-07-25 22:39:40
150阅读
转载
2023-07-12 21:47:49
21阅读
