转载于 https://blog.csdn.net/yangpei1/article/details/98897548 https://blog.csdn.net/qq_41475058/article/details/89840468 elk的架构 elk+kafka 准备工作： ntp， 主机名
转载
2020-02-26 12:53:00
107阅读
2评论
目录1.背景2.ELK的配置2.1.下载2.2.关闭防火墙2.3.安装elasticsearch2.4.安装Logstash2.5.安装Kibana2.6.Java日志输出
原创
2023-05-17 11:59:46
256阅读
在开发微信小程序的时候，遇到了如下的坑，提供给初学者做警示。 （1）：微信小程序的后台，以为是微信管理员账号的后台。起始微信小程序的后台是你申请微信小程序的是填写的邮箱和密码。...
原创
2023-06-02 09:58:03
258阅读
0x00 概述关于如何搭建ELK部分，请参考这篇文章该篇用户为非root，使用用户为“elk”。基于以前ELK架构的基础，结合Kafka队列，实现了ELK+Kafka集群，整体架构如下:# 1. 两台es组成es集群;（ 以下对elasticsearch简称es ）# 2. 中间三台服务器就是我的kafka(zookeeper)集群啦; 上面写的 消费者/生产者 这是kafka(zookee
原创
2022-05-25 01:00:02
1685阅读
点赞
ELK（Elasticsearch, Logstash, Kibana）和Kafka是两个常用的开源工具，可以协作起来实现日志的收集、存储和可视化分析。下面我将向你介绍如何通过ELK和Kafka来实现日志收集的流程。
### ELK+Kafka收集日志的流程
| 步骤 | 操作 |
|------|------|
| 1 | 日志生成器将日志发送到Kafka |
| 2 | Logstash
原创
2024-05-30 10:08:09
215阅读
ELK+kafka构建日志收集系统 原文 http://lx.wxqrcode.com/index.php/post/101.html 原文 http://lx.wxqrcode.com/index.php/post/101.html 背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消
转载
2021-07-28 14:00:38
1363阅读
码字很辛苦，转载请注明来自运维人的《ELK+Kafka 企业日志收集平台(一)》背景：最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于E
转载
2017-10-13 10:58:54
1969阅读
#ELK日志收集#ELK原理与介绍为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。一般大型系统是一个分布式部
原创
2018-09-16 23:00:12
3380阅读
环境：拓扑：安装JDK不管需不需要，都装上JDK吧，省的麻烦，我这里装的是jdk1.8.0_151tarxfjdk-8u151-linux-x64.tar.gz-C/opt/配置环境变量vim/etc/profileexportJAVA_HOME=/opt/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHsource/etc/profile安装zk以192.1
原创
2021-03-10 17:43:37
449阅读
ELK是Elasticsearch、Logstash、Kibana的简称，三者的结合实现了日志的收集、查询、显示功能，kafka的加入是为了减轻前端es集群的压力，现在我以环境的实施向大家介绍一下ELK的构架和基础。
原创
2016-09-20 22:01:08
4124阅读
点赞
ELK开源实时日志分析平台。ELK是Elasticsearch,Logstash,Kibana 的缩写。Elasticsearch：是个开源分布式搜索引擎,简称ESLogstash：是一个完全开源的工具，可以对日志进行收集，过滤，存储到ESKibana: 也是一个开源和免费的工具,这里主要用作ES的可视化界面工具，用于查看日志。环境:centos7.9一、搭建ES先要调高jvm线程数限制，修改sy
转载
2021-10-22 09:12:25
551阅读
转自 离线部署ELK+kafka日志管理系统 - xiaoxiaozhou - 51CTO技术博客http://xiaoxiaozhou.blog.51cto.com/4681537/1854684 1、简介 对于日志来说，最常见的需求就是收集、查询、显示，正对应logstash、elasticse
转载
2017-08-02 16:51:00
159阅读
2评论
快速搭建elk日志收集 kafka版本进行文章的第二次修改，包括了之前的简单方案的升级过程。因为业务的不断更新升级，为了保证线上业务也能正常使用elk服务，并且使得elk的服务和线业务流解耦（即避免直接写入es的方式可能会带来的耗时影响）所以我们采用了下面最新的方案，也是常规方案方案业务层 >> kafka队列 >> logstash 消费 >> elastic
转载
2024-06-04 23:08:55
142阅读
elk+kafka高可用集群搭建
推荐
原创
2021-08-31 18:07:18
10000+阅读
点赞
注:multiline字段,必须每个日志类型一个,不然日志不会合并.(坑) 样例图: 参考
原创
2022-05-25 00:58:49
673阅读
kafka:高吞吐量的分布式发布订阅消息kafka的特性：1.通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。2.高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。3.支持通过Kafka服务器和消费机集群来分区消息。Kafka与ELK业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。实验部署：架
原创
2022-09-24 01:18:27
1906阅读
分布式ELK+KAFKA日志采集 docker-compose
原创
2022-09-07 06:26:00
421阅读
背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：http://bl
转载
2017-10-20 08:30:00
164阅读
引言本文代码已提交至Github（版本号：15880edfd7251ec4fc7950ff346056efe46f4272），有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop前面的博客把ELK+Kafka的原理以及功能都实现了，有兴趣的同学可以参阅下：《淘东电商项目（48） -ELK+Kafka分布式日志收集（原理篇）》...
原创
2022-03-21 16:39:09
150阅读
引言本文代码已提交至Github（版本号：15880edfd7251ec4fc7950ff346056efe46f4272），有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop前面的博客把ELK+Kafka的原理以及功能都实现了，有兴趣的同学可以参阅下：《淘东电商项目（48） -ELK+Kafka分布式日志收集（原理篇）》...
原创
2021-07-08 10:02:09
191阅读
