架构说明app-server(filebeat) -> kafka -> logstash -> elasticsearch -> kibana服务器用途说明系统基础环境
# cat /etc/redhat-release
CentOS release&
原创
2017-09-08 17:45:58
5135阅读
1评论
架构说明app-server(filebeat)->kafka->logstash->elasticsearch->kibana服务器用途说明系统基础环境cat/etc/redhat-releaseCentOSrelease6.5(Final)uname-r2.6.32-431.el6.x86_64192.168.162.51logstash01192.168.162.53
转载
2020-01-04 08:19:32
917阅读
点赞
因为之前使用ES比较多，所以也认为ELK是一个不错的解决方案，ELK(Elasticsearch + Logstash + Kibana)来管理日志。Logstash是一个具有实时渠道能力的数据收集引擎,但和fluentd相比，它在效能上表现略逊一筹，故而逐渐被fluentd取代，ELK也随之变成EFK。EFK由ElasticSearch、Fluentd和Kiabana三个开源工具组成。其中Ela
1.整体架构图：2.实验环境准备：安装软件主机名IP地址Elasticsearch/zookeeper/kafkaes-kafka-110.10.10.20Elasticsearch/zookeeper/kafkaes-kafka-210.10.10.21Elasticsearch/zookeeper/kafkaes-kafka-310.10.10.22Logstashlogstash10.10.
原创
2022-04-22 11:24:42
909阅读
点赞
1评论
一、消息队列 1、为什么需要消息队列（MQ） 2、使用消息队列的好处 3、消息队列的两种模式 二、Kafka 1、Kafka 定义 2、Kafka 简介 3、Kafka 的特性 4、Kafka 系统架构 三、部署kafka集群（在之前部署的3台zookeeper上） 1、下载安装包 2、安装 Kaf ...
转载
2021-10-06 19:10:00
252阅读
2评论
一、消息队列 1、为什么需要消息队列（MQ） 2、使用消息队列的好处 3、消息队列的两种模式 二、Kafka 1、Kafka 定义 2、Kafka 简介 3、Kafka 的特性 4、Kafka 系统架构 三、部署kafka集群（在之前部署的3台zookeeper上） 1、下载安装包 2、安装 Kaf ...
转载
2021-10-06 19:10:00
352阅读
2评论
#Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构 ##一、Zookeeper ###1. Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 ###2. Zookeeper工作机制 Zookeeper从设计模式角 ...
转载
2021-10-04 04:11:00
572阅读
2评论
#一、Zookeeper 概述 ##1.1、Zookeeper 定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 ##1.2、Zookeeper 工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理 ...
转载
2021-10-06 16:23:00
432阅读
2评论
elk（elasticsearch + logstash + kibana ）技术栈用于日志收集展示 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询、数据分布在多个物理机上无法汇集。因此我们需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思
最近在学习elk，记录一下搭建过程 ，网上也有，自己记录一下，方便记忆，方便以后使用。 elk是elasticsearch，logstash，kibana的缩写。logstash负责收集，过滤日志 elasticsearch负责保存日志 kibana负责图像化数据。 这次我用的是filebeat代替logstash收集日志，因为filebeat占用内存更小，更方便。准备模拟日志2019-09-09
#一、消息队列 ##1.1 消息队列介绍（MQ） 1.由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发too many connection错误，引发雪崩效应 2.我们使用消息队列，通过异步处理请求，从而缓解系统 ...
转载
2021-09-28 16:49:00
1278阅读
2评论
Kafka服务介绍与部署+部署Filebeat+Kafka+ELK 一、消息队列 二、Kafka 三、部署kafka集群（在之前部署的3台zookeeper上） 四、Kafka 架构深入 五、部署Filebeat+Kafka+ELK 一、消息队列 1.为什么需要消息列队（MQ） 1）由于在高并发环境 ...
转载
2021-10-06 09:35:00
207阅读
2评论
用ELK打造强大的日志分析平台，具体拓扑结构如下：在这里我们将进行kafka+filebeat+ELK5.4的部署各软件版本jdk-8u131-linux-i586.tar.gz
filebeat-5.4.0-linux-x86_64.tar.gz
elasticsearch-5.4.0.tar.gz
kibana-5.4.0-linux-x86_64.tar.gz
logstash-5.4.0.
原创
精选
2017-06-08 16:46:05
10000+阅读
点赞
2评论
目录一、ElasticStack的组成二、FileBeat1、简介FileBeat轻量型日志采集器汇总、“tail -f”和搜索性能稳健，不错过任何检测信号Filebeat 让简单的事情简单化它不会导致您的管道过载输送至 Elasticsearch 或 Logstash。在 Kibana 中实现可视化。2、部署运行3、自定义字段4、输出到Elasticsearch5、Filebeat工作原理6、
ELK+Zookeeper+Kafka+Filebeat一、实验目的：1.强大的搜索功能，elasticsearch可以以分布式搜索的方式快速检索，而且支持DSL的语法来进行搜索，简单的说，就是通过类似配置的语言，快速筛选数据。2.完美的展示功能，可以展示非常详细的图表信息，而且可以定制展示内容，将数据可视化发挥的淋漓尽致。3.分布式功能，能够解决大型集群运维工作很多问题，包括监控、预警、日志收集
原创
2018-12-17 11:31:29
1687阅读
一、生成CA证书1 生成根证书的私钥openssl genrsa -out ./ca.key 2 利
原创
2022-10-13 16:55:20
897阅读
本文给大家分享一下，如何搭建一个最为流行的ELK架构，上一篇博文中已经给大家分享过ELK架构的演变之路，
也给出了当下最为流行的ELK日志架构，那就是filebeat+kafka（zookeeper）+logstash+elasticsearch+kibana。
原创
2018-10-16 08:33:19
5198阅读
点赞
