1.获取Logstash模板GET http://10.0.0.219:9200/_template/logstash2.在sync目录下创建logstas.
原创
2022-07-18 18:00:49
348阅读
record, partition, offset, replication一个非常大的Topic可以被分成多个分区（partition）, 从而分配到多个broker中（分区可以存储在不同的服务器上，分区是对Topic中所包含数据集的物理分区）。kafka中的每一条消息（record）都会分配一个自增ID（Offset）。一个partition中的消息可以顺序发给消费者，不保证多个partion
转载
2024-02-23 11:22:32
13阅读
一、Kafka集群参数调优1、JVM参数调忧默认启动的Broker进程只会使用1G内存，在实际使用中会导致进程频繁GC，影响Kafka集群的性能和稳定性 通过jstat -gcutil 1000查看到kafka进程GC情况 主要看YGC,YGCT,FGC,FGCT这几个参数，如果这几个值不是很大，就没什么问题。YGC：young gc发生的次数 YGCT：young gc消耗的时间 FGC：ful
转载
2024-02-15 20:55:28
24阅读
kafka消息消费原理演示 在实际生产过程中，每个topic都会有多个partitions，多个partitions的好处在于，一方面能够对 broker上的数据进行分片有效减少了消息的容量从而提升io性能。另外一方面，为了提高消费端的消费 能力，一般会通过多个consumer去消费同一个topic ，也就是消费端的负载均衡机制，也就是我们接下 来要了解的，在多个partition以及多个cons
转载
2024-02-15 14:26:42
62阅读
目录一、logstatsh下载二、解压使用三、配置使用四、运行五、 自定义模板配置中文分词 一、logstatsh下载对应Elasticsearch版本下载logstatsh，官网下载较慢，推荐 华为开源镜像站 下载，地址如下：https://mirrors.huaweicloud.com/logstash/这里下载版本为：logstash-7.3.2二、解压使用执行如下命令解压：tar -zx
1.Logstash简介Logstash是ES技术栈中的一个技术，它是一个数据采集引擎，可以从数据库采集数据到ES中。我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个ID或者时间就是用于给Logstash进行识别的。id：假设现在有1000条数据，Logstatsh识别后会进行一次同步，同步完会记录这个id为1000，以后数据库新增数据，那么id会一直累加，Logstatsh会有定时
原创
2021-08-17 17:52:18
997阅读
Elastic技术栈之Logstatsh数据同步Logstatsh准备SQL准备MySQL驱动准备数据同步配置启动数据同步配置中文分词 LogstatshLogstash是elastic技术栈中的一员。Logstash是一个数据采集引擎，可以从数据库采集数据到es中。通常通过设置自增id主键或者时间来控制数据的自动同步时间，自增id与时间主要用于logstash进行识别。设置自增ID：同步完后记
转载
2024-05-16 18:49:32
133阅读
一、Logstash介绍Logstash是elastic技术栈中的一个技术。它是一个数据采集引擎，可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个id或者时间就是用于给logstash进行识别的id：假设现在有1000条数据，Logstatsh识别后会进行一次同步，同步完会记录这个id为1000，以后数据库新增数据，那么id会一直累加，Logstatsh
转载
2021-04-29 10:20:45
1488阅读
2评论
LogstashLogstash是elastic技术栈中的一个技术。它是一个数据采集引擎，可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个id或者时间就是用于给logstash进行识别的id：假设现在有1000条数据，Logstatsh识别后会进行一次同步，同步完会记录这个id为1000，以后数据库新增数据，那么id会一直累加，Logstatsh会有定时
转载
2024-07-23 20:10:16
77阅读
YUM 安装logstash下载安装公钥： rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch创建logstash.repo: vim /etc/yum.repos.d/logstatsh.repo [logstash-5.x]
name=Elastic repository for
原创
2017-08-02 22:57:43
1498阅读
Filebeat介绍 Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命
转载
2020-04-20 00:38:00
347阅读
2评论
1 资源准备使用的虚拟机或者生成环境需先配置好JDK和可以访问使用的elasticsearch服务。logstash-6.4.3 CSDN下载地址： logstash-6.4.3 官网下载地址： https://www.elastic.co/cn/downloads/past-releases/logstash-6-4-3使用Logstatsh的版本号与elasticsearch版本号需要保持一致
转载
2024-06-12 10:36:48
47阅读
Logstash Logstash是elastic技术栈中的一个技术。它是一个数据采集引擎，可以从数据库采集数据到es中。我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个id或者时间就是用于给logstash进行识别的。 id：假设现在有1000条数据，Logstatsh识别后会进行一 ...
转载
2021-09-04 18:08:00
396阅读
2评论
一、前言 Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。二、部署与运行①.下载（
转载
2024-02-28 17:35:28
112阅读
Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。官方网址:https://www.elastic.co/guide/en/bea
tail命令能够看到日志的滚动，非常方便。于是xjjdog想，既然我们能够用这个命令，看到所有的日志，那能不能使用tail命令，做日志收集呢？ 想象归想象，如果你想要一个快速的实时日志收集工具，那tail确实是个非常棒的工具。它比什么flume、logstatsh，比什么fil…
原创
2021-04-15 21:57:08
163阅读
filebeat简介及配置说明一、Filebeat简介二、安装使用（windows和linux安装包）1.下载并解压filebeat2.编辑配置文件filebeat.yml3.启动三、配置文件详细说明 一、Filebeat简介Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kaf
转载
2023-11-24 21:48:01
282阅读
这是xjjdog第200篇原创小姐姐味道，欢迎分享，转载请保留出处。tail命令能够看到日志的滚动，非常方便。于是想，既然我们能够用这个命令，看到所有的日志，那能不能使用tail命令，做日志收集呢？想象归想象，如果你想要一个快速的实时日志收集工具，那tail确实是个非常棒的工具。它比什么flume、logstatsh，比什么filebeat之类的，快捷的多。事实上，在工具缺乏的旧年代，
转载
2022-12-01 14:51:45
28阅读
ELK和EFK是什么ELK和EFK是四个开源产品的组合：
Elasticsearch 一个基于Lucene搜索引擎的NoSQL数据库
Logstatsh 一个日志管道工具，接受数据输入，执行数据转换，然后输出数据
Filebeat 一个转发和集中日志数据的轻量级传送工具
Kibana 一个界面层，在Elasticsearch之上工作
关于ElasticsearchElasticsearch
这是xjjdog第200篇原创原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。tail命令能够看到日志的滚动，非常方便。于是xjjdog想，既然我们能够用这个命令，看到所有的日志，那能不能使用tail命令，做日志收集呢？想象归想象，如果你想要一个快速的实时日志收集工具，那tail确实是个非常棒的工具。它比什么flume、logstatsh，比什么filebeat之类的，
原创
2021-02-02 11:50:43
118阅读
