这次我们通过一个最简单的HelloWolrd来了解一下ELK的使用。 进入logstash的config目录，创建stdin.conf 文件。 input{
stdin{
}
}
output{
stdout{
codec => rubydebug
}
elasticsearch{
hosts => ["192.168.
转载
2024-03-26 22:14:28
84阅读
简介1. ELK是什么？ELK 是由Elasticsearch，Logstash 和 kibana 三个组件组成的 一种日志收集分析系统。其中： 1. Logstash： 主要用来收集日志，并对日志进行分析，处理与储存，并将其发送给Elasticsearch 2. Elasticsearch： 为一开源的分布式搜索引擎 ，他可以为日志添加索引，对索引进行自动分片，提供良好的restful风格接
转载
2024-10-28 11:39:38
24阅读
一、 安装安装ElasticSearch(版本:7.6.2)安装Kibana(版本:7.6.2)安装LogStash(版本:7.6.2)安装RabbitMQ二、 部署配置并启动ESES安装目录 JDK配置ElasticSearch官方文档指出ES7.6.2需要JDK11的环境支持，因此ES7.6.2自带了JDK11（经过测试发现在J
转载
2024-03-10 17:01:59
209阅读
上一章介绍了ELK的基本概念,这一篇主要介绍在centos7中配置elasticsearch以及集群的配置一、elasticsearch安装详细步骤第一步环境准备1.虚拟机和主机产生联系，在windows上使用secure crt操作虚拟机2.清空防火墙,并且使用防火墙规则使各台虚拟机可以互相访问 设置防火墙规则的命令为 iptables -I INPUT -s 192.168.229.0 -j
转载
2024-04-29 12:35:25
92阅读
一.部署es1.获取镜像
docker pull elasticsearch:7.14.0
2.启动并设置内存大小
docker run -d --name=es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx512m" elasticsearch:7.14.0
3
转载
2024-03-05 15:08:37
67阅读
一.MQ介绍message deque,消息队列，现如今有很多消息队列，比如rabbitMQ,kafka,rocketMQ二.消息队列的应用场景为什么要使用消息队列呢，适用于什么场景呢。1.异步处理如果以下三步操作，注册用户，注册成功后，发送短信给客户，发送邮件给客户假设一个操作的时间未50ms,那么三步操作的时间就是150秒那么我们可以，通过发送mq的形式，将消息发送到短信系统和邮件系统处理。那
转载
2024-05-19 15:44:43
5阅读
Elk Elasticsearch，logstash，kibana三大开源框架首字母的大写简称。也称为Elastic stackElasticsearch：是一个基于Lucene，分布式，通过restful方式进行交互的近实时搜索平台框架。logstash：是ELK的中央数据流引擎，用于从不同目标（文件、数据存储、MQ）收集的不同格式数据，经过过滤后支持输出到不同目的地（文 件、MQ、redis、
转载
2024-03-28 12:38:07
33阅读
简洁elk=elasticsearch+logstash+kibana，这个概念不用多说官网上和很多帖子上都是这样介绍的，但是很少有帖子上会提醒你，如果这3种插件的版本号如果不一致有可能是用不了的我最开始使用的是6.3.0，然后由于kibana的配置有点乱，又重新安装了一次没注意版本号已经变成了6.3.1，启动后连接elasticsearch后返回403在大多数的企业服务中我们还会使用另一种插件f
转载
2024-05-22 17:01:36
54阅读
一、ES安装前的准备(elk安装包版本要求一致)elasticsearch-6.2.2.tar.gz elasticsearch-head-master.zip kibana-6.2.2-linux-x86_64.tar.gz logstash-6.2.2.tar.gz node-v8.9.1-linux-x64.tar.gz 虚拟机配置： 1.输入vi /etc/sysconfig/networ
转载
2024-04-24 12:19:25
253阅读
ELK使用配置文档概述对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合。1.elasticsearch配置需要的环境(1)J
转载
2024-03-05 07:13:18
279阅读
logstash->elasticsearch->kibana
原创
2017-05-21 08:32:31
590阅读
文章目录概述ElasticsearchLogstashKibanaELK 协议栈体系结构最简单架构ELK结构Logstash 作为日志搜集器Beats 作为日志搜集器基于 Filebeat 架构的配置部署详解引入消息队列机制的架构Elasticsearchdocker部署DSL索引命令文档命令java项目部署esKibanadocker部署分词器安装IK分词器配置词条mappingLogStas
转载
2024-04-20 17:06:11
118阅读
一、安装es官网地址：es官网下载地址目前本人使用的是7.x的版本，7版本系列功能和性能都已经是很全面的了，目前的8版本展示没有使用。此处使用7版本还有一个重要的原因是因为后续会使用到easy-es插件来提高对es查询使用的简化。（目前使用7.12.0版本来完成了整个elk的使用和探索）二、解压elasticsearch-7.12.0windows版本的使用解压工具解压即可；linux版本通过命令
转载
2024-03-20 14:17:37
190阅读
本文预计阅读15分钟【引言】 我们在做数据架构时，除了需要详细了解各类数据库的特性和架构优劣势，还需要站在更高一层的角度去思考如何更好地支持各种各样的业务需求。数据架构的设计当然也有包含Active MQ，Rocket Mq、kafka、RabbitMQ等消息队列的应用解耦，异步消息，流量削锋等作用，实现高性能，高可用，可伸缩和最终一致性架构。 鉴于现在互联网用户数量大、高并发访问的
转载
2023-08-08 10:45:32
350阅读
消息队列MQ 主要是用来：解耦应用 2 异步化消息 3 流量削峰填谷为什么要用Redis实现轻量级MQ 在业务的实现过程中，就算没有大量的流量，解耦和异步化几乎也是处处可用，此时MQ就显得尤为重要。但与此同时MQ也是一个蛮重的组件，例如我们如果用RabbitMQ就必须为它搭建一个服务器，同时如果要考虑可用性，就要为服务端建立一个集群，而且在生产如果有问题也需要查找功能。在中小型业务的开发过程中，可
转载
2023-09-27 09:29:49
125阅读
3.使用场景计数器 可以对String进行自增自减运算，从而实现计算器功能。 Redis这种内存型数据库的读写性能非常高，很适合存储频繁读写的及数量缓存 将热点数据放到内存中，设置内存的最大使用量以及淘汰策略来保证缓存的命中率。查找表 例如DNS记录就很适合使用Redis进行存储。 查找表和缓存类似，也是利用了Redis快速的查找特性。但是查找表的内容不能失效，而缓存的内容可以失效，因为
转载
2023-05-29 16:34:06
132阅读
1、前言在对公司容器云的日志方案进行设计的时候，发现主流的 ELK（Elasticsearch，Logstash，Kibana）或者 EFK（Elasticsearch，Filebeat or Fluentd，Kibana）比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基本概念和架构，当然 EF
转载
2024-03-25 13:51:14
227阅读
Ubuntu kernel 编译安装 最近参与一个 ubuntu
项目，基于
intel Cherrytrail
平台的系统开发，包括
kernel
层面的一些问题。 由于开始对那套ubuntu的开发编译环境不是很熟悉，问了下这几个月一直在这个项目中的同事，他提供的一套方法，说是ubuntu官网上的编译方法，每次编译要40分钟左右，天哪，每次编译kernel要40分钟，那效率
使用VirtualBox、Moba对ELK集群的搭建一、复制虚拟机1、找到装好的虚拟机elk002，右键复制，选择专家模式，选择完全复制、当前虚拟电脑状态（M），勾选重新初始化所有网卡的MAC地址（R）、点击复制 该虚拟机命名elk003 2、继续上个操作，重新复制一个虚拟机命名elk004 3、打开elk002、elk003，elk004二、修改主机名和主机列表1、修改网络地址 （1）输入：vi
转载
2024-07-15 12:53:23
24阅读
首先从概念上来说，MQ是消息中间件，MB是ESB产品MQ负责在两个系统之间传递消息，这两个系统可以是异构的，处于不同硬件、不同操作系统、用不同语言编写，只需要简单的调用几个MQ的API，就可以互相通讯，你不必考虑底层系统和网络的复杂性。MQ作为IBM的一个拳头产品，虽然功能看上去很简单，就是个消息队列，但他却是IBM中间件的核心，也是相比其他厂商（比如BEA）的一个优势。MQ不仅有很高的性能，而
转载
2024-04-29 11:26:07
402阅读
