前言：大概一年多前写过一个部署ELK系列的博客文章，前不久刚好在部署一个ELK的解决方案，我顺便就把一些基础的部分拎出来，再整合成一期文章。大概内容包括：搭建ELK集群，以及写一个简单的MQ服务。如果需要看一年多之前写的文章，可以详见下列文章链接（例如部署成Windows服务、配置浏览器插件、logstash接收消费者数据等，该篇文章不再重复描述，可以点击下方链接自行参考）：ElasticSear
文章目录一、什么是ELK?1.什么是Elasticsearch？2.什么是 Logstash？3.什么是 是 kibana ：二、ELK 常用架构及使用场景介绍：1）简单架构2）以Logstash 作为日志搜集器3）以Beats 作为日志搜集器4）引入消息队列模式三、Elasticsearch 部署1.部署源码安装：docker安装安装地址2.rpm包安装1）节点规划2)系统优化3）下载安装包4
转载
2024-04-06 10:15:22
103阅读
目录一、ELK日志分析系统1、ELK的三大组成2、ELK日志处理步骤二、Elasticsearch的核心1、接近实时（NRT）2、集群（cluster）3、节点（node）4、索引（index）5、类型（type）6、文档（document）7、分片和副本（shards & replicas）8、相关概念在关系型数据库和ElasticSearch中的对应关系三、Logstash1、Logs
转载
2024-04-05 10:16:37
85阅读
一、简介公司又来了，这次的任务是搭建elk。好吧，好像很多博客都是在工作中写出来的。本来以为两行命令搞定的事情，坑没那么多的，结果。。。 二、安装与启动ElasticSearch链接：https://www.elastic.co/downloadselk都有，各个系统版本都有，全家桶，要啥有啥。到自己的服务器上执行$ wget https://artifacts.elastic.co/d
转载
2024-04-06 09:22:01
54阅读
ELK日志分析之安装1.介绍：NRT elasticsearch是一个近似实时的搜索平台，从索引文档到可搜索有些延迟，通常为1秒。集群 集群就是一个或多个节点存储数据，其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字，默认是elasticsearch，集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此
日志流向:kafka-->logstash-->Elasticsearch-->Kibana或者filebeat-->Elasticsearch-->KibanaLogstash配置:kafka-->logstash-->Elasticsearch官网配置:https://www.elastic.co/guide/en/logstash/current/c
转载
2024-04-24 12:50:08
26阅读
简介：ELK是（Elasticsearch、Logstash、Kibana）三个软件的集合简称。那么这三个软件分别扮演着一个什么样的角色呢？ 1）Elasticsearch：搜索引擎，主要任务是将日志索引并进行存储。 2）Logstash：通俗来讲就是一个中间者，负责将日志进行收集、过滤并转发，转发给谁呢？在没有特殊配置的情况下转发给Elasticsearch进行处理。 3)Kibana：可视化展
转载
2024-03-08 21:09:01
67阅读
（注：此文档仅限Windows 10环境下ELK环境搭建）ELK安装–win10一、前期准备 java : jdk11（须有环境变量配置path） elasticsearch-7.2.0.zip logstash-7.2.0.zip kibana-7.2.0.zip elasticsearch-head-master.zip filebeat-7.2.0.zip （注：java版本要与ELK相对
转载
2024-04-07 05:54:12
92阅读
目录一、概述二、前期准备1）部署 docker2）部署 docker-compose三、创建网络四、Zookeeper 编排部署1）下载 Zookeeper2）配置3）启动脚本 bootstrap.sh4）构建镜像 Dockerfile5）编排 docker-compose.yaml6）开始部署五、简单测试验证六、常用的 zookeeper 客户端命令1）创建节点2）查看节点3）更新节点4）删除节
转载
2024-04-07 17:29:39
66阅读
部署ELK集群是一个非常重要的任务，尤其对于需要处理大量日志数据的应用程序而言。ELK（Elasticsearch、Logstash、Kibana）是一个强大的组合，用于实时搜索、分析和可视化大规模日志数据。在本文中，我们将一步步介绍如何部署ELK集群。
**步骤概览：**
| 步骤 | 描述
原创
2024-04-30 11:41:14
93阅读
ELK简介1.ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎，使用Java语言编写。2.Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析、过滤，并将数据发送给ES。3.Kibana为Elasticsearch提供了分析和
原创
2020-07-05 12:19:16
10000+阅读
点赞
Docker安装部署ELK(Elasticsearch+Kibana+Logstash+Filebeat) 为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见
转载
2023-07-16 23:44:01
200阅读
ElasticSearch 集群安装一、ElasticSearch 关于ElasticSearch(后续简称es)的介绍这里就多说了，单机版的安装于配置可以参考《elasticsearch安装及配置》，其实集群版和单机安装区别不大，只是多一些配置以及需要注意的地方，集群版也可以单个节点启动运行。 &nbs
今天准备看一看高性能的作业。这一次的作业时关于packet classification的。先解释一下packet classification，在路由器接受到一个包之后，路由器需要根据一些路由策略来决定如何处理这些包，那么在接受到一个包了之后，查看一下这个包到底是通过哪一个规则来处理，这就需要的是packet classification。packet classification一般有两类方法
文章目录目录前言版本与端口信息对应IP地址Elasticsearchdocker 拉取镜像在home下新建三个文件夹es01 : elasticsearch.yml (node-1)es02 : elasticsearch.yml (node-2)es03 : elasticsearch.yml (node-3)home/es 目录，存放配置文件 (解决权限问题)docker创建网络创建es节点
转载
2024-04-05 22:23:35
67阅读
ElasticSearch集群搭建背景：我们要搭建一个ELK系统，目标是用于检索系统和用户画像系统。选用的版本是elasticsearch5.5.0+logstash5.5.0+kibana5.5.0。ElasticSearch集群搭建步骤：1.安装java 8以上版本的JDK。从http://www.oracle.com/technetwork/java/javase/downloads/jdk
转载
2024-03-27 08:48:06
63阅读
a) 解压文件之前确定是Java1.8版本b) 解压后修改文件conf/elasticsearch.yml文件中的IP和端口号 1.&nbs
转载
2024-07-03 02:42:01
170阅读
k8s证书浅析来源：https://zhuanlan.zhihu.com/p/123858320建K8S集群 kubeadm 会生成的很多证书[root@k8s-master01 ~]# cd /etc/kubernetes/pki
[root@k8s-master01 pki]# tree
.
├── apiserver.crt
├── apiserver-etcd-client.crt
├──
此文档基于1.0版本。Elasticsearch集群部署配置文件Elasticsearch有三个配置文件：elasticsearch.yml 用于配置Elasticsearchjvm.options 用于配置Elasticsearch JVM 设置log4j.properties 用于配置Elasticsearch 日志记录这三个文件位于config目录中，默认位置如下：对于归档分发，config
转载
2023-09-28 13:06:18
118阅读
ELK 集群部署实战本次分享如何在生产环境搭建 高可用 ELK 集群，并分享实战中常用的部署技巧与优化策略。一、部署前环境规划1. 操作系统ELK 对操作系统比较友好，主流 Linux 均支持：CentOS 7/8Ubuntu 18.04/20.04麒麟操作系统建议尽量统一操作系统版本，以减少兼容性问题。2. 硬件资源节点类型CPU内存磁盘Master2-44-8GB50GB SSDData4-8
