之前的项目中一直使用的是数据库表记录用户操作日志的，但随着时间的推移，数据库log单表是越来越大「不考虑删除」，再加上近期项目中需要用到Elasticsearch，所以干脆把这些用户日志迁移到ES上来了。 环境：SpringBoot2.2.6 + Elasticsearch6.8.8 如果你还不了解
原创
2021-06-04 16:01:20
755阅读
文章目录1. 日志的重要性2. 集中化日志管理3. **Filebeat 简介**4. Filebeat 执行流程5. Modules 开箱即用6. demo1. 日志的重要性● 为什么重要○ 运维
原创
2022-05-31 00:16:22
209阅读
目录一、日志分析系统ELK实战1. elasticsearch 简介2. 基础模块3. elasticsearch应用场景二、elasticsearch安装与配置三、搭建elasticsearch集群四、elasticsearch可视化方法1. cerebro插件2. elasticsearch-head插件五、elasticsearch节点角色 一、日志分析系统ELK实战ELK是elastic
转载
2024-04-30 12:08:08
322阅读
背景传统项目里面记录日志大多数都是将日志记录到日志文件，升级到分布式架构以后，日志开始由文件转移到elasticsearch（es）中来存储，达到集中管理。在kubernetes平台里面把日志记录到es有两种简单的方案：容器外记录。首先在docker容器里面做挂载，指定一个固定的虚拟机目录，然后应用程序把日志写入到这个目录，虚拟机上开启logstash服务来收集日志文件，然后把日志传输到es，在通
转载
2024-04-29 12:23:35
418阅读
做运维的小伙伴应该都知道nginx日志的重要性，一般出现访问问题，我们可能第一时间要去看日志去分析问题，除了协助我们排查问题外，如果对nginx日志进一步分析可以得到更有用的数据，例如可以监控某站点的http状态码、PV,UV情况，request_time和response_time等，如果辅助其它工具进一步分析可以预防一些安全问题，比如同一个IP的访问某页面超出了限制，我们可以设置策略发现后可以
原创
2021-03-08 21:36:05
115阅读
接上篇的内容，这篇我们要解决把转换完的日志发送到kafka中，用kafka来做消息队列，实现发布和订阅消息流模式，因为涉及kafka内容，所以我们先说一下Kafka的一些基本知识，然后再看代码不然会是一头雾水。kafka介绍：1、什么是kafka?Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布
原创
2021-04-05 11:25:49
277阅读
用Grafana为Elasticsearch做日志分析.Grafana是一个开源的、功能强大的指标
原创
2015-12-21 17:49:18
126阅读
做运维的小伙伴应该都知道nginx日志的重要性，一般出现访问问题，我们可能第一时间要去看日志去分析问题，除了协助我们排查问题外，如果对nginx日志进一步分析可以得到更有用的数据，例如可以监控某站点的http状态码、PV,UV情况，request_time和response_time等，如果辅助其它工具进一步分析可以预防一些安全问题，比如同一个IP的访问某页面超出了限制，我们可以设置策略发现后可以
原创
2021-04-05 11:26:11
319阅读
做运维的小伙伴应该都知道nginx日志的重要性，一般出现访问问题，我们可能第一时间要去看日志去分析问题，除了协助我们排查问题外，如果对nginx日志进一步分析可以得到更有用的数据，例如可以监控某站点的http状态码、PV,UV情况，request_time和response_time等，如果辅助其它工具进一步分析可以预防一些安全问题，比如同一个IP的访问某页面超出了限制，我们可以设置策略发现后可以
原创
2021-04-05 11:26:16
332阅读
接上篇的内容，这篇我们要解决把转换完的日志发送到kafka中，用kafka来做消息队列，实现发布和订阅消息流模式，因为涉及kafka内容，所以我们先说一下Kafka的一些基本知识，然后再看代码不然会是一头雾水。kafka介绍：1、什么是kafka?Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布
原创
2021-03-08 21:35:35
96阅读
elk，elasticsearch, 1. 概述 logstash把格式化的数据发送到elasticsearch以后，elasticsearch负责存储搜索日志数据 elasticsearch的搜索接口还是很强大的，这边不详细展开，因为kibana会去调用el的接口； 本文将讲解elasticsearch的相关配置和遇到的问题，至于elasticsearch的相关搜索使用，后面会找个
转载
2019-10-14 18:03:00
658阅读
点赞
2评论
摘要
本发明提供一种海量日志存储和查询方法及系统，其中的方法包括将分片后的日志按照主从关系存储为文件结构，其中，分片后的日志按照主从关系存储在主文件和从文件内，主文件包括日志的聚合数量、分片开始时间和分片结束时间，且主文件采用XML数据结构，包括event元素、count元素、Level元素和Keyword元素，从文件包括日志的发生时间和发生日志的设备的IP；在主文件和从文件内对
转载
2024-01-05 22:28:35
32阅读
起因：我们线上的业务通常会部署到10几台或者几十台机器上，线上的日志如果用salt执行命令远程的grep已经是越来越不方便了，所以我们决定对日志进行统一收集，管理1. 选择方案我们业务日志不算特别的多，因此不想方案过于复杂，并且公司内部已经有ES和kafaka集群 因此可以选方案有 1） rsyslog + kafka + elasticsearch 2）fluentd + kafka +
转载
2024-03-18 23:20:22
84阅读
curator delete indices --index .marvel- --older-than 3 --time-unit days --timestring %Y.%m.%d 3 /data0/wwwroot/elasticsearch-1.4.1/data/elasticsearch/nodes/0/indices
转载
精选
2016-03-23 09:58:51
879阅读
Kubernetes（K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。Elasticsearch是一个基于Lucene的搜索引擎，它提供了一个分布式、多租户的全文搜索引擎，用于快速搜索大量数据。在Kubernetes集群中部署Elasticsearch时，我们可能需要查看Elasticsearch的日志来进行故障排查和监控。
下面我将指导你如何在Kubernetes集群中查看E
原创
2024-05-21 10:50:41
227阅读
elasticsearch 日志收集1. 背景2. 环境3. 问题4. 参考解决方案1. 背景工作遇到的类似问题，参考官网进行收集归档，进行笔记形式的记录，便于后续查看。2. 环境OpenShift Container Platform (OCP) 43. 问题由于 OCP 环境中应用的日志增大时会有大量日志产生
原创
2021-07-21 10:50:13
401阅读
# MySQL存储日志用什么引擎
在现代软件开发中，日志记录是一个不可或缺的部分。无论是为了监控应用程序运行状态、跟踪用户行为，还是为后续的数据分析提供依据，高效的日志管理都显得尤为重要。在MySQL中，选择合适的存储引擎对日志的存储和查询性能至关重要。
## 什么是存储引擎？
存储引擎是数据库管理系统（DBMS）中用于处理数据存储、检索和管理的组件。MySQL提供了多种存储引擎，其中最常用
原创
2024-08-30 05:57:53
91阅读
参看网址：https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules-slowlog.html1
转载
2022-09-14 14:42:30
257阅读
Elasticsearch 是一个分布式搜索引擎，常用于日志分析和数据检索。在Kubernetes集群中，我们可以通过部署 Fluentd 或 Filebeat 组件来收集日志，并将数据发送到 Elasticsearch 中进行存储和分析。下面我们将详细介绍如何在Kubernetes中实现“elasticsearch收集日志”。
### 实现步骤
| 步骤 | 操作 |
| ------ |
原创
2024-05-29 10:00:18
91阅读
"Elaticsearch查询日志"是在Kubernetes（K8S）环境中非常常见的一项任务，它可以帮助我们实时检索和分析大量日志数据。如果你是一名刚入行的小白，不用担心，接下来我会一步步教你如何实现这个过程。
首先，让我们来看一下整个实现“elasticsearch查询日志”的流程。下面是一个简单的步骤表格：
| 步骤 | 操作描述
原创
2024-04-29 12:02:14
90阅读
