一、概述数据在线分析处理和常用工具大数据离线处理和常用工具OLAP 和 OLTP 处理和常用处理工具二、数据在线分析处理和常用工具1、Flume 介绍Flume 专注于大数据的收集和传输，用来解决在线分析处理特点，数据源源不断的到来的问题。类似的大数据开源系统有 Logstash 和 Fluentd 。三者区别如下：Logstash 主要 和 Elasticsearch 、 Kibana 结合使用
转载
2024-05-11 16:23:31
220阅读
2.ELK技术栈概述2.1 什么是ELK2.2 什么是EFK2.3 什么是ELFK2.4 ELK技术栈能收集那些日志3.Elasticsearch入门与集群3.1 什么是Elasticsearch3.2 Elasticsearch的功能3.3 Elasticsearch相关术语介绍3.3.1 文档 Document3.3.2 索引 index3.3.3 字段 Filed3.3.4 Elastics
目录1、ES1.1、ES的特点1.2、ES与关系型数据库的对比1.3、ES的物理设计1.4、ES的数据类型1.5、ES的接口1.6、ES的集群搭建1.7、ES与springboot集成2、LogStash3、Kibana4、Beats5、总结 1、ESElasticSearch又叫ElasticStack，是用Java开发的，通过简单的RESTful API来隐藏Lucene的复杂性，实现实时文
转载
2024-04-17 09:49:02
606阅读
目录前言简介架构说明部署使用前言在对公司容器云的日志方案进行设计的时候，发现主流的 ELK（Elasticsearch，Logstash，Kibana）或者 EFK（Elasticsearch，Filebeat or Fluentd，Kibana）比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统。下面我们来介绍下 Loki 的一些基
转载
2024-03-20 14:46:43
290阅读
SkyWalking1.是什么skywalking是一个包含监控，追踪，并拥有故障诊断能力的分布式系统。它主要的作用是全链路监控，收集数据，分析处理数据，然后可视化呈现。这么说有点抽象，接下来画图来说这是skywalking的架构。它通过Service（client agent）收集数据，然后传输给receiver cluster，然后接下来在内部部分需要原始数据或者需要进行整合的下发给aggre
转载
2024-04-29 21:56:56
512阅读
ELK是elasticsearch+logstash+kibana的组合，是一款日志收集解决方案的简写，而EFK是elasticsearch+filebeat+kibana的组合，解决同样的问题，它们之间的区别就是logstash与filebeat的区别。1、既有ELK，为何又再弄个EFK呢？是因为logstash是使用java语言编写的，在实际使用中，明显存在耗资源较大，运行占用CPU和内存高等
转载
2024-04-19 16:58:05
132阅读
Part1 前言 大家好，我是ABC_123。我曾经花费时间搭建各种Web服务器、数据库环境去研究分析日志，使用的工具从使用系统自带命令去分析日志，到自动化的360星图，再到后期的Logparser、ELK（ElastiSearch、Kibana、Logstash）等等。到最后我发现还是Splunk这款商业版工具用起来更顺手一些，我个人认为这款软件比ELK要好用得多，只不过E
转载
2024-05-21 19:30:13
95阅读
ELK与EFK的关系与区别ELK和EFK都是用于实时搜索、分析和可视化大规模数据的解决方案，它们的组件和功能有许多相似之处，但也存在一些细微的区别。关系ELK（Elasticsearch、Logstash、Kibana）和EFK（Elasticsearch、Fluentd、Kibana）都由三个核心组件构成，分别是Elasticsearch、数据收集工具和Kibana。Elasticsearch：
转载
2024-06-17 18:00:21
310阅读
目录什么是ELK功能分类为什么选择elasticsearch（技术选型）相关概念和集群相关clustershardsreplicasIndex（相当于表）Document元数据倒排索引在虚拟机里面的docker里面安装es在虚拟机里面安装Kibana 什么是ELKELK是Elasticsearch、Logstash、Kibana三个软件首字母。Elasticsearch： 全文检索工具。和之前学
转载
2024-06-20 11:48:35
43阅读
前言说起查看日志排查 bug 的方式，早些年的时候我都是直接登陆 linux 服务器直接查看，或者下载下来查看。随着微服务的兴起，服务被越拆越小，服务部署也是集群部署，可能涉及到的服务器数量就有好几十台了，这样的话一台台服务器去登陆查看就感觉非常麻烦了。后面我尝试着去寻找别的解决办法，发现了一个叫 finderweb 的程序员查看日记神器，用了一段时间，感觉也还可以，感兴趣的可以访问如下链接，自行
转载
2024-04-24 14:13:08
102阅读
Zookeeper集群+ Fafka集群zookeeper概述zookeeper定义Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper 工作机制Zookeeper从设计模式角度来理解
是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已
转载
2024-03-26 10:03:43
78阅读
这次我们通过一个最简单的HelloWolrd来了解一下ELK的使用。 进入logstash的config目录，创建stdin.conf 文件。 input{
stdin{
}
}
output{
stdout{
codec => rubydebug
}
elasticsearch{
hosts => ["192.168.
转载
2024-03-26 22:14:28
84阅读
在现代的软件开发中，日志管理和分析是非常重要的一环。而elk和efk作为两种常用的日志管理解决方案，可以帮助开发者快速地收集、存储、分析和可视化日志数据。本文将介绍如何使用elk和efk实现日志管理，帮助刚入行的小白快速上手。
### elk和efk的概念
- ELK是指Elasticsearch、Logstash和Kibana的组合，用于日志收集、存储和可视化分析。
- EFK是指Elasti
原创
2024-05-15 10:22:05
67阅读
一、ELK介绍ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部.1.Elasticsearch Elasticsearch是基于json的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。Elasticsearch是一个分布式的RESTful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。它是实
ldp分ldp发现(udp)和ldp会话(tcp)，总结几点：1.首先是ldp发现，之后才有ldp会话。2.路由器接口上启用了ldp，ldp基本发现过程就开启了，每个ldp接口上会收发ldp hello消息，hello消息是在直连邻居路由器之间建立ldp邻接关系。消息是udp的(646,646)，ip为224.0.0.2(所有路由器本地链路)。hello消息中比较重要的是标签空间1）lsr id:
在Kubernetes中使用Graylog和ELK进行日志收集和分析是非常常见的做法，通过这种方式可以方便地查看和分析应用程序产生的日志，从而帮助定位问题和优化系统性能。下面我将为你详细介绍如何在Kubernetes集群中部署和配置Graylog和ELK。
整体流程如下：
| 步骤 | 行为 |
| :---: | :---: |
| 步骤 1 | 部署Graylog和ELK服务组件 |
|
原创
2024-05-15 10:22:25
92阅读
ELK简介ElasticSearch：智能搜索，分布式的搜索引擎，是ELK的一个组成 ELK代表的是：E就是ElasticSearch，L就是Logstach，K就是kibanaE：EalsticSearch 搜索和分析的功能L：Logstach 搜集数据的功能，是日志收集系统K：Kibana 数据可视化（分析），可以用图表的方式来去展示，是数据可视化平台ES倒排索引ES的增删改查ES的api请求
一.简介ELK是Elasticsearch、Logstash、Kibana的简称。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志
转载
2024-07-15 14:21:36
83阅读
1、elk解释
ELK分别是Elasticsearch、Logstash、Kibana三个开源框架缩写
Elasticsearch 开源分布式搜索引擎，提供存储、分析、搜索功能。特点：分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。 接收搜集的海量结构化日志数据，并提供给kibana查询分析
Logstash 开源日志搜集、分
1.kafka基本概念Kafka是一种高吞吐量的分布式发布/订阅消息系统，kafka是Apache组织下的一个开源系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop平台的数据分析、低时延的实时系统、storm/spark流式处理引擎等。2.kafka角色术语在介绍架构之前，先了解下kafka中一些核心概念和各种角色。Broker：Kafka集群包含一个或多个服务
