公司一直使用的Filebeat进行日志采集 由于Filebeat采集组件一些问题，现需要使用iLogtail进行代替 现记录下iLogtail介绍和实际使用过程 这是iLogtail系列的第七篇文章目录背景架构演进现有架构iLogtail中期架构最终架构背景目前iLogtail部署测试过程中已实现如下功能：1、同时采集不同目录的日志2、采集文件后支持
防火墙日志通过防火墙规则日志记录，您可以审核、验证和分析防火墙规则所带来的影响。例如，您可以确定用于拒绝流量的防火墙规则是否如期发挥作用。如果您需要确定某特定防火墙规则影响的连接数，日志记录功能也十分有用。对于您要记录其连接的每一条防火墙规则，您都要单独启用防火墙规则日志记录功能。防火墙规则日志记录选项适用于所有防火墙规则，与规则的操作(允许或拒绝)或方向(入站或出站)无关。如果您对某个
转载
2024-07-10 11:48:37
198阅读
轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana)Loki简介简介 Loki是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。Loki 是专门用于聚集日志数据，重点是高可用性和可伸缩性。与竞争对手不同的是，它确实易于安装且资源效率极高。特点优点：不对日志进行全文索引（vs ELK技）。通过存储压缩非结构化日
转载
2024-04-22 09:09:31
1418阅读
轻量级日志采集系统Loki+grafana搭建
一.Loki介绍 整体架构 Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。 Loki将使用与prometheus相同的服务发现和标签重新标记库,编写了pormtail, 在k8s中promt
原创
2022-01-18 16:41:01
1146阅读
一.Loki介绍整体架构Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。Loki将使用与prometheus相同的服务发现和标签重新标记库,编写了pormtail,在k8s中promtail以daemonset方式运行在每个节点中，通过kub
原创
2020-07-16 13:32:45
10000+阅读
轻量级日志采集系统Loki+grafana搭建一.Loki介绍整体架构Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本
原创
2021-08-26 15:21:32
616阅读
一、简 介Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：Loki 是主服务器
转载
2024-02-28 21:21:07
638阅读
[size=medium]背景：
假设这么一个情况，你是某公司mysql-DBA，某日突然公司数据库中的所有被人为删了。
尽管有数据备份，但是因服务停止而造成的损失上千万，现在公司需要查出那个做删除操作的人。
但是拥有数据库操作权限的人很多，如何排查，证据又在哪？
是不是觉得无能为力？
mysql本身并没有操作审计的功能，那是不是意味着遇到这种情
随着公司业务发展，支撑公司业务的各种系统越来越多，为了保证公司的业务正常发展，急需要对这些线上系统的运行进行监控，做到问题的及时发现和处理，最大程度减少对业务的影响。因此有必要引入一套日志监控系统。ELK (Elasticsearch 、 Logstash和Kibana) 是功能丰富，允许复杂的操作。但是，这些方案往往规模复杂，资源占用高，操作苦难，有点杀鸡用牛刀了。PLG (Promtail +
1. 错误日志告警实战1.1. 需求为了更方便的实时了解系统报错情况，我开始寻找告警解决方案1.2. 思路1.2.1. 不差钱的方案如果不差钱，更系统更完善的解决方案，我首先想到的是CAT，它不但能实现错误告警，且更加智能，告警的错误间隔，错误告警内容，QPS告警等等方式更多样化，还能查看接口QPS流量等等，奈何经费有限，放弃1.2.2. 考虑自己实现自己实现考虑可否对log.error方法进行拦
转载
2024-07-15 11:31:22
384阅读
由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。大家都知道ELK技术栈是采集、
最近公司比较忙，没来的及更新博客，今天为大家更新一篇文章，elk+redis+filebeat，这里呢主要使用与中小型公司的日志收集，如果大型公司可以参考上面的kafka+zookeeper配合elk收集，好了开始往上怼了；Elk为了防止数据量突然键暴增，吧服务器搞奔溃，这里需要添加一个redis，让数据输入到redis当中，然后在输入到es当中 Redis安装：
转载
2024-09-19 20:15:39
145阅读
本文通过安装 docker loki plugin 直接采集docker容器日志，并推送至loki。文件(如果没有就新建).
原创
2023-07-01 00:01:59
879阅读
在多种智能抄表方案中，尤其是RS485抄表方案、电力载波抄表方案和lora抄表方案，经常会用到集中器，那么集中器是个什么东东呢，许多人都不太明白，今天老王就给大家科普一下。一、什么是集中器，它是干什么的1.集中器是连接终端、计算机或通信设备的中心连接点设备。它成为电缆汇合的中心点。在若干终端密集区内，通常为减少通信线路，先把终端接到集中器，然后再经过高速线路将集中器连接到计算机的通信控制器，因此，
使用Grafana+loki+promtail入门级部署分布式日志系统(windows环境)环境分布式项目部署在windows环境下，日志分布在多台windows服务器下，日志大、且查询不便。特此搭建分布式日志收集分析查询系统。组件介绍本套分布式日志查询系统使用loki、promtail、grafanaPromtail是代理，负责收集日志并将其发送给Loki。Loki是主服务器，负责存储日志和处理
转载
2024-04-24 11:41:35
490阅读
Loki日志系统详解1——背景Loki日志系统详解1——背景最近，在对公司容器云的日志方案进行设计的时候，发现主流的ELK或者EFK比较重，再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统，下面介绍下Loki的背景。背景和动机当我们的容器云运行的应用或者某个节点出现问题了，解决思路应该如下： 我们的监控使用的是基于prometheus体系进行改造的，pr
转载
2024-06-25 15:50:58
122阅读
Tempo是Grafana Labs在ObservabilityCON 2020大会上新开源的一个用于做分布式式追踪的后端服务。它和Cortex、Loki一样，Tempo也是一个兼备高扩展和低成本效应的系统。之前小白有提到Grafana Labs的云原生Observability宇宙只剩下trace部分，那么今天就拿Loki的分布式追踪来体验下这Observability的最后一环吧。关于Temp
转载
2024-08-27 14:59:02
413阅读
在之前的文章中，我介绍了如何使用 Filebeat 把一个日志文件直接写入到 Elasticsearch 中，或通过 Logstash 的方法写到 Elasticsearch 中。在今天的文章中，我们来介绍如何运用 Filebeat 来把 nginx 日志导入到 Elasticsearch 中，并进行分析。Filebeat 模块为你提供了一种快速处理常见日志格式的快速方法。 它们包含默认
转载
2024-03-25 17:43:43
430阅读
一、glog是什么：Google glog是一个基于程序级记录日志信息的c++库，编程使用方式与c++的stream操作类似，例：LOG(INFO) << "Found " << num << " cookies";“LOG”宏为日志输出关键字，“INFO”为严重性程度。主
转载
2024-09-29 16:18:22
187阅读
总结下 loki 的优点低索引开销loki 和 es 最大的不同是 loki 只对标签进行索引而不对内容索引这样做可以大幅降低索引资源开销 (es 无论你查不查，巨大的索引开销必须时刻承担)并发查询 + 使用 cache同时为了弥补没有全文索引带来的查询降速使用，Loki 将把查询分解成较小的分片，可以理解为并发的 grep和 prometheus 采用相同的标签，对接 alertmanagerL
