Jettytomcat的博客_ELK学习笔记

ELK学习笔记之CentOS 7下ELK(6.2.4)++LogStash+Filebeat+Log4j日志集成环境搭建

0x00 简介现在的公司由于绝大部分项目都采用分布式架构，很早就采用ELK了，只不过最近因为额外的

ELK搭建

elasticsearch

linux

elastic

原创点赞0 阅读64 收藏0 评论0 2022-05-30

ELK学习笔记之简单适用的ES集群监控工具cerebro安装使用

安装指导及使用简介 1. 下载安装包： https://github.com/lmenezes/cerebro/releases/download/v0

ELK

cerebro

安装包

启动服务

启动方式

原创点赞0 阅读77 收藏1 评论0 2022-05-30

ELK学习笔记之F5 DNS可视化让DNS运维更安全更高效-F5 ELK可视化方案系列(3)

0x00 概述此文力求比较详细的解释DNS可视化所能带来的场景意义，无论是运维、还是DNS安全。建议仔细看完下图之后的大篇文字段落，希望能引发您的一些思考。在“F5利用Elastic stack（ELK）进行应用数据挖掘系列（2）-DNS”一文中阐述了通过DNS logging profile进

F5 DNS

f5

ide

缓存

转载点赞0 阅读23 收藏0 评论0 2022-05-25

ELK学习笔记之使用curl命令操作elasticsearch

0x00 _cat系列 _cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行curl -XGET localhost:9200/_cat 1. 获取所有_cat系列的操作你也可以后面加一个v，让输出内容表格显示表头，举例 0x01 _cluster系列 1、查询设置

ElasticSearch

curl

数据

html

系统信息

原创点赞0 阅读86 收藏0 评论0 2022-05-25

ELK学习笔记之ELK博客推介

http://wangnan.tech/all-categories/#posts-list-ELKstack

ELK

转载点赞0 阅读36 收藏0 评论0 2022-05-25

ELK学习笔记之构建基于kafka(confluent)双活数据中心弹性F5 Bigdata Engine 架构-ELK_1.0

https://www.cnadn.net/post/2679.htm

ELK

F5 bigdate

.net

转载点赞0 阅读20 收藏0 评论0 2022-05-25

ELK学习笔记之ELK搜集OpenStack节点日志

模板来自网络，模板请不要直接复制，先放到notepad++内调整好格式，注意缩进部署架构控制节点作为日志服务器，存储所有 OpenStack 及其相关日志。Logstash 部署于所有节点，收集本节点下所需收集的日志，然后以网络(node/http)方式输送给控制节点的 Elasticsearc

ELK

OpenStack日志

elasticsearch

日志服务器

字段

原创点赞0 阅读81 收藏0 评论0 2022-05-25

ELK学习笔记之logstash安装logstash-filter-multiline(在线离线安装)

0x00 概述 ELK-logstash在搬运日志的时候会出现多行日志，普通的搬运会造成保存到ES中单条单条，很丑，而且不方便读取，logstash-filter-multiline可以解决该问题 github地址：https://github.com/logstash-plugins/logsta

Logstash

ruby

rubygems

镜像源

原创点赞0 阅读146 收藏0 评论0 2022-05-25

ELK学习笔记之kibana关闭和进程查找

启动kibana ： nohup ./kibana & 查看启动日志： tail -f nohup kibana 使用 ps -ef|grep kibana 是查不到进程的，主要原因大概是因为 kibana 是node 写的。所以kibana 运行的时候是运行在node 里面。所以可以使用 p

ELK

Kibana

原创点赞0 阅读48 收藏0 评论0 2022-05-25

ELK学习笔记之logstash配置多入多出并互相隔离

0x00 概述需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；主要需要解决如下两个问题： 0x01 如何加载多个配置文件普通启动方式：多配置文件启动方式：注意：java-conf为目录，将加载该目录下所有配置文件；不要使用config/jav

Logstash多入多出相互隔离

elasticsearch

输入输出

配置文件

原创点赞0 阅读120 收藏0 评论0 2022-05-25

ELK学习笔记之logstash将配置写在多个文件

0x00 概述我们用Logsatsh写配置文件的时候，如果读取的文件太多，匹配的正则过多，会使配置文件动辄成百上千行代码，可能会造成阅读和修改困难。这时候，我们可以将配置文件的输入、过滤、输出分别放在不同的配置文件里，甚至把输入、过滤、输出再次分离，放在不同的文件里。这时候，后期再需要增删改查内

Logstash多个配置文件

配置文件

json

elasticsearch

原创点赞0 阅读71 收藏0 评论0 2022-05-25

ELK学习笔记之配置logstash消费kafka多个topic并分别生成索引

0x00 filebeat配置多个topic 0x01 查看是否输出到kafka 0x02 配置logstash集群 0x03 Es查看是否创建索引 0x04 logstash集群配置

kafka

字段

ruby

原创点赞0 阅读152 收藏0 评论0 2022-05-25

ELK学习笔记之Logstash不停机自动重载配置文件

0x00 自动重新加载配置为了可以自动检测配置文件的变动和自动重新加载配置文件,需要在启动的时候使用以下命令: 默认检测配置文件的间隔时间是3秒,可以通过以下命令改变如果已经运行了没有提供自动重启的logstash,可以发送一个挂起命令给logstash重新加载配置文件: 0x01 配置文件自动

Logstash自动重新加载配置文件

配置文件

加载

自动重启

原创点赞0 阅读125 收藏0 评论0 2022-05-25

ELK学习笔记之Kibana安装配置

Kibana 是一个开源的分析和可视化平台，是ELK的重要部分。Kibana提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析，并在各种图表、表格和地图中可视化数据。系统：CentOS7.2 官网地址：https://www

ELK

Kibana

elasticsearch

elastic

数据

原创点赞0 阅读103 收藏0 评论0 2022-05-25

ELK学习笔记之ELK6.0 X-pack设置用户名和密码

官方文档

ELK6

X-pack

java

elastic

elasticsearch

原创点赞0 阅读5 收藏0 评论0 2022-05-25

ELK学习笔记之Kibana权限控制和集群监控

详细请参考如下四篇博客，注意ELK6中移除了Xpack的默认账户和密码，需要手动设置 Kibana安全特性之权限控制 ELK 集群 Kibana 使用 X-Pack 权限控制，监控集群状态，警报，监视,cpu，内存，磁盘空间，报告和的可视化图形 Kibana中的X-Pack设置解释生产环境中使用

Kibana权限控制

X-pack

权限控制

生产环境

原创点赞0 阅读24 收藏0 评论0 2022-05-25

ELK学习笔记之Kibana查询和使用说明

0x00 概述 elasticsearch构建在Lucene之上，过滤器语法和Lucene相同 Kibana接口概述 Kibana接口分为四个主要部分：发现可视化仪表板设置我们将按照列出的顺序浏览每个部分的基础知识，并演示如何使用每个接口。 0x01 Kibana探索当您第一次连接到Ki

ELK

Kibana查询

搜索

lucene

apache

转载点赞0 阅读1483 收藏1 评论0 2022-05-25

ELK学习笔记之filebeat合并多行日志示例

0x00 概述本节中的示例包括以下内容：将Java堆栈跟踪日志组合成一个事件将C风格的日志组合成一个事件结合时间戳处理多行事件同理，你可以把如下的正则应用在容器的yaml文件内。 0x01 Java堆栈日志 Java示例一： Java堆栈跟踪由多行组成，每一行在初始行之后以空格开头，如本例

filebeat多行合并

java

java堆栈

bootstrap

原创点赞0 阅读36 收藏0 评论0 2022-05-25

ELK学习笔记之ElasticSearch的集群(Cluster),节点(Node),分片(Shard),Indices(索引),replicas(备份)之间关系

【Cluster】集群，一个ES集群由一个或多个节点（Node）组成，每个集群都有一个cluster name作为标识【node】节点，一个ES实例就是一个node，一个机器可以有多个实例，所以并不能说一台机器就是一个node，大多数情况下每个node运行在一个独立的环境或虚拟机上。【index

ELK

数据

lucene

搜索引擎

原创点赞0 阅读67 收藏0 评论0 2022-05-25

ELK学习笔记之Elasticsearch删除指定日期的数据（脚本+定时任务）

Elasticsearch删除指定日期的数据

ELK

数据

时间戳

定时任务

原创点赞0 阅读255 收藏0 评论0 2022-05-25

ELK学习笔记之Elasticsearch和Kibana数据导出实战

Elasticsearch和Kibana数据导出

ELK

elasticsearch

数据

数据导出

原创点赞0 阅读54 收藏1 评论0 2022-05-25

ELK学习笔记之filbeat pod无法将容器日志发送到Elasticsearch7.8 reconnect to backoff with 9 reconnect attempt(s)

Attempting to reconnect to backoff with 9 reconnect attempt(s)

ELK

elastic

elasticsearch

docker

原创点赞0 阅读0 收藏0 评论0 2022-05-25

ELK学习笔记之容器filebeat占用过多/var/log目录(filebeat进程写满磁盘)

filebeat

ELK

docker

解决方案

文件句柄

原创点赞0 阅读227 收藏0 评论0 2022-05-25

ELK+Kafka学习笔记之搭建ELK+Kafka日志收集系统集群

0x00 概述关于如何搭建ELK部分，请参考这篇文章该篇用户为非root，使用用户为“elk”。基于以前ELK架构的基础，结合Kafka队列，实现了ELK+Kafka集群，整体架构如下:# 1. 两台es组成es集群;（以下对elasticsearch简称es ）# 2. 中间三台服务器就是我的kafka(zookeeper)集群啦; 上面写的消费者/生产者这是kafka(zookee

ELK

Kafka

Kibana

kafka

zookeeper

原创点赞0 阅读693 收藏0 评论0 2022-05-25

ELK学习笔记之Logstash详解

0x00 Logstash概述官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道

ELK

Logstash

java

redis

json

原创点赞0 阅读51 收藏0 评论0 2022-05-25

ELK+Kafka学习笔记之FileBeat日志合并配置输出到kafka集群

注:multiline字段,必须每个日志类型一个,不然日志不会合并.(坑) 样例图: 参考

ELK

Kafka

FileBeat

字段

正则匹配

原创点赞0 阅读89 收藏0 评论0 2022-05-25

ELK学习笔记之ElasticSearch简介

0x00 什么是Elasticsearch Elasticsearch （ES）是一个基于 Lucene 的开源搜索引擎，它不但稳定、可靠、快速，而且也具有良好的水平扩展能力，是专门为分布式环境设计的,Elasticsearch是面向文档型数据库，这意味着它存储的整个对象或者文档，它不但会存储它们

ELK

ElasticSearch

elasticsearch

搜索

数据

原创点赞0 阅读27 收藏0 评论0 2022-05-25

ELK学习笔记之ElasticSearch的索引详解

0x00 ElasticSearch的索引和MySQL的索引方式对比 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-t

ELK

ElasticSearch索引

lucene

elasticsearch

mysql

原创点赞0 阅读33 收藏0 评论0 2022-05-25

ELK学习笔记之Elasticsearch启动常见错误

问题出现的环境： OS版本：CentOS-7-x86_64-Minimal-1708 ES版本：elasticsearch-6.2.2 1. max file descriptors [4096] for elasticsearch process is too low, increase to a

ElasticSearch报错

elasticsearch

打开文件

centos

原创点赞0 阅读50 收藏0 评论0 2022-05-25

ELK学习笔记之ELK分析syslog日志

0x00 配置FIlebeat搜集syslog并发送至 0x01 配置Logstash从FIlebeat输入syslog日志并输出至Elasticsearch 0x02 Troubleshooting 0x03 ElasticSearch查看索引 0x04 Kibana创建索引

ELK

syslog

elasticsearch

vim

log日志

原创点赞0 阅读98 收藏0 评论0 2022-05-25

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

Jettytomcat的博客