文章目录Vector 简介相关概念事件Data modelEvent typesLog eventsMetric eventsTraces组件构成源转换接收器PipelineBuffersBackpressureRolesAgentDaemonSidecarAggregatorTopology分布式集中式基于流 Vector 简介Vector 是一种高性能的可观察性数据管道,可让组织控制其可观察            
                
         
            
            
            
            Loki收集Nginx日志并以grafana展示            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-06-06 02:06:39
                            
                                3392阅读
                            
                                                        
                                点赞
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Prometheus是一款基于时序数据库的开源监控告警系统,是下一代云监控系统的首要选择,Loki是GrafanaLabs团队发布的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统,二者与Grafana结合,可以实现将服务器、容器监控与收集日志集中到一个平台,方便运维人员使用,本文将演示部署demo,具体概念请读者自行百度,实际使用是需结合客观情况进行部署。Grafana1.安装+下载安            
                
                    
                        
                                                            
                                                                        
                                                                推荐
                                                                                        原创
                                                                                    
                            2021-08-04 16:16:21
                            
                                6803阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            日志收集系统loki+promtail+Grafana 部署转自 https://zhuanlan.zhihu.com/p/639304209一、简 介Loki是受Prometheus启发由Grafana
 Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google 
Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                            精选
                                                        
                            2023-11-23 15:05:39
                            
                                485阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana)Loki简介简介 Loki是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。Loki 是专门用于聚集日志数据,重点是高可用性和可伸缩性。与竞争对手不同的是,它确实易于安装且资源效率极高。特点优点:不对日志进行全文索引(vs ELK技)。通过存储压缩非结构化日            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-22 09:09:31
                            
                                1418阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            MegaCli 是LSI公司官方提供的SCSI卡管理工具,由于LSI被收购变成了现在的Broadcom,所以现在想下载MegaCli,需要去Broadcom官网查找Legacy产品支持,搜索MegaRAID即可。关于MegaCli 的使用可以看我的另一篇博文,这里就不再介绍了。现在官方有storcli,storcli已经基本代替了megacli,整合了LSI和3ware所有产品。安装方面比较简单,            
                
         
            
            
            
            Grafana+loki+promtail 收集logback微服务日志  多行日志合并  时间序列选择等配置记录            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-09-24 01:19:07
                            
                                2413阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            
                    [size=medium]背景: 
假设这么一个情况,你是某公司mysql-DBA,某日突然公司数据库中的所有被人为删了。 
尽管有数据备份,但是因服务停止而造成的损失上千万,现在公司需要查出那个做删除操作的人。 
但是拥有数据库操作权限的人很多,如何排查,证据又在哪? 
是不是觉得无能为力? 
mysql本身并没有操作审计的功能,那是不是意味着遇到这种情            
                
         
            
            
            
            一、简 介Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监控的数据签,极大地降低了日志索引的存储。系统架构十分简单,由以下3个部分组成 :Loki 是主服务器            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-28 21:21:07
                            
                                638阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            随着公司业务发展,支撑公司业务的各种系统越来越多,为了保证公司的业务正常发展,急需要对这些线上系统的运行进行监控,做到问题的及时发现和处理,最大程度减少对业务的影响。因此有必要引入一套日志监控系统。ELK (Elasticsearch 、 Logstash和Kibana) 是功能丰富,允许复杂的操作。但是,这些方案往往规模复杂,资源占用高,操作苦难,有点杀鸡用牛刀了。PLG (Promtail +            
                
         
            
            
            
            1. 错误日志告警实战1.1. 需求为了更方便的实时了解系统报错情况,我开始寻找告警解决方案1.2. 思路1.2.1. 不差钱的方案如果不差钱,更系统更完善的解决方案,我首先想到的是CAT,它不但能实现错误告警,且更加智能,告警的错误间隔,错误告警内容,QPS告警等等方式更多样化,还能查看接口QPS流量等等,奈何经费有限,放弃1.2.2. 考虑自己实现自己实现考虑可否对log.error方法进行拦            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-15 11:31:22
                            
                                384阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
                 Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana(EFK)技术栈,也是官方现在比较推荐的一种方案。Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-21 20:34:13
                            
                                64阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            使用Grafana+loki+promtail入门级部署分布式日志系统(windows环境)环境分布式项目部署在windows环境下,日志分布在多台windows服务器下,日志大、且查询不便。特此搭建分布式日志收集分析查询系统。组件介绍本套分布式日志查询系统使用loki、promtail、grafanaPromtail是代理,负责收集日志并将其发送给Loki。Loki是主服务器,负责存储日志和处理            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-24 11:41:35
                            
                                490阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Loki日志系统详解1——背景Loki日志系统详解1——背景最近,在对公司容器云的日志方案进行设计的时候,发现主流的ELK或者EFK比较重,再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统,下面介绍下Loki的背景。背景和动机当我们的容器云运行的应用或者某个节点出现问题了,解决思路应该如下: 我们的监控使用的是基于prometheus体系进行改造的,pr            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-25 15:50:58
                            
                                122阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Tempo是Grafana Labs在ObservabilityCON 2020大会上新开源的一个用于做分布式式追踪的后端服务。它和Cortex、Loki一样,Tempo也是一个兼备高扩展和低成本效应的系统。之前小白有提到Grafana Labs的云原生Observability宇宙只剩下trace部分,那么今天就拿Loki的分布式追踪来体验下这Observability的最后一环吧。关于Temp            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-27 14:59:02
                            
                                413阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、简 介Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益,并且易于操作。使用标签来作为索引,而不是对全文进行检索,也就是说,你通过这些标签既可以查询日志的内容也可以查询到监            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2021-07-28 11:37:06
                            
                                3252阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            收集node节点的日志Promtail配置文件配置文件模板文件下载地址https://github.com/grafana/lo            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-08-17 08:55:15
                            
                                502阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            收集算法是内存回收的理论基础,垃圾收集器是内存回收的具体实现。在 HotSpot 虚拟机实现中,目前有 7 种垃圾收集器实现,分别是 Serial、ParNew、Parallel Scavenge、CMS、Serial Old 和 G1。前三种是新生代垃圾收集器,后面四种是老年代垃圾收集器。它们可以搭配使用,如下图所示(有连线才能搭配使用)新生代新生代垃圾收集器有 Serial、ParNew 和            
                
         
            
            
            
            1、Serial 收集器      Serial 收集器是新生代的单线程收集器,它“单线程”的意义体现在:
      1.它只会使用一个CPU或一条收集线程去完成垃圾收集工作;
      2.它在进行垃圾收集时,必须            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-09-07 19:46:51
                            
                                24阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            之前日志服务用的较多的一般是ELK,EFK,graylog等,但这些日志由java编写,运行需要jdk,而且配置上面,还是有点复杂,比如需要对日志需要写grok将复杂的日志进行匹配,好在后...            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2022-02-28 17:07:09
                            
                                1387阅读