最近公司比较忙，没来的及更新博客，今天为大家更新一篇文章，elk+redis+filebeat，这里呢主要使用与中小型公司的日志收集，如果大型公司可以参考上面的kafka+zookeeper配合elk收集，好了开始往上怼了；Elk为了防止数据量突然键暴增，吧服务器搞奔溃，这里需要添加一个redis，让数据输入到redis当中，然后在输入到es当中 Redis安装：
转载
2024-09-19 20:15:39
145阅读
本文通过安装 docker loki plugin 直接采集docker容器日志，并推送至loki。文件(如果没有就新建).
原创
2023-07-01 00:01:59
879阅读
网站数据统计分析工具是网站站长和运营人员经常使用的一种工具，比较常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理，并一步一步实际搭建一个实际的数据收集系统。
数据收集原理分析 简单来说，网站统计分析工具需要收集到用户浏览目标网站的行为（如打开某网页
# Loki 采集 Docker
## 1. 介绍
Loki 是一个开源的日志聚合系统，由 Grafana Labs 团队开发，旨在为分布式系统提供高效的日志查询和聚合功能。与传统的日志系统相比，Loki 采用了高度压缩的日志索引和存储方式，有效降低了存储和查询的成本。
Docker 是一个开源的容器化平台，可以让开发者轻松地构建、发布和运行应用程序。通过将应用程序及其依赖打包到一个容器中，
原创
2024-01-15 11:55:42
113阅读
由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。大家都知道ELK技术栈是采集、
在多种智能抄表方案中，尤其是RS485抄表方案、电力载波抄表方案和lora抄表方案，经常会用到集中器，那么集中器是个什么东东呢，许多人都不太明白，今天老王就给大家科普一下。一、什么是集中器，它是干什么的1.集中器是连接终端、计算机或通信设备的中心连接点设备。它成为电缆汇合的中心点。在若干终端密集区内，通常为减少通信线路，先把终端接到集中器，然后再经过高速线路将集中器连接到计算机的通信控制器，因此，
在之前的文章中，我介绍了如何使用 Filebeat 把一个日志文件直接写入到 Elasticsearch 中，或通过 Logstash 的方法写到 Elasticsearch 中。在今天的文章中，我们来介绍如何运用 Filebeat 来把 nginx 日志导入到 Elasticsearch 中，并进行分析。Filebeat 模块为你提供了一种快速处理常见日志格式的快速方法。 它们包含默认
转载
2024-03-25 17:43:43
430阅读
公司一直使用的Filebeat进行日志采集 由于Filebeat采集组件一些问题，现需要使用iLogtail进行代替 现记录下iLogtail介绍和实际使用过程 这是iLogtail系列的第七篇文章目录背景架构演进现有架构iLogtail中期架构最终架构背景目前iLogtail部署测试过程中已实现如下功能：1、同时采集不同目录的日志2、采集文件后支持
# 如何实现Loki采集交换机日志
## 概述
在本文中，我将教会你如何使用Loki来采集交换机日志。Loki是一个开源的日志聚合系统，它可以帮助我们收集、存储和查询大量的日志数据。通过采集交换机的日志，我们可以更好地了解网络设备的运行状况，并进行故障排查和性能优化。
在开始之前，我们需要确保你已经具备一定的开发经验，并且对Loki和交换机日志有一定的了解。如果你还不熟悉这些概念，可以先查阅
原创
2024-01-12 17:38:06
639阅读
贝壳采集器是多年潜心研发的一款业界领先的新一代、智能、通用网页数据采集器。使用简单，完全可视化操作，无需专业知识，会上网就能轻松掌握；功能强大，新闻、论坛、电话邮箱、竞争对手、客户资料、汽车房产、电子商务等任何网站均可采集；数据可导出为多种格式；更有云采集，支持列表采集，分页采集定时采集等。是目前最好用，最简单的免费网页数据采集器！下面简单给大家家介绍下使用方法，以行业标准/国家标准
在Kubernetes环境中，日志管理是一项关键的运维任务，它帮助开发者和系统管理员监控应用程序的运行状态、诊断问题并确保系统安全。Loki是一个水平可扩展、高可用性、多租户的日志聚合系统，由Grafana Labs开发。它特别设计来与Kubernetes集成，并且与Grafana监控工具紧密结合， ...
正文vim /etc/rsyslog.conf #按如下进行更改
[root@ZABBIX-Server mnt]# egrep -v “#|^$" /etc/rsyslog.conf
$ModLoad imudp
$UDPServerRun 514
$ModLoad imtcp
$InputTCPServerRun 514
$WorkDirectory /var/lib/rsyslog
转载
2024-10-28 11:16:32
248阅读
在当今信息时代，互联网已成为人们获取信息的主要渠道之一。对于研究者和开发者来说，如何快速准确地采集整个网站数据是至关重要的一环。以下将从九个方面详细探讨这一问题。确定采集目标在着手采集之前，明确目标至关重要。这有助于确定采集内容和方式。比如，若想获取某电商平台所有商品信息，则需明确商品类别、属性等。选择采集方式不同目标可能需要不同采集方式。包括爬虫、API接口、数据抓取工具等，选择适合的方式至关重
转载
2024-08-24 18:10:50
58阅读
### 使用Loki采集K8S日志的步骤详解
在Kubernetes集群中，我们经常会需要收集和管理各个应用程序的日志信息。而Loki是一个基于Grafana的开源日志聚合系统，能够帮助我们实现对Kubernetes集群中日志的采集和查询。接下来，我会为你详细介绍如何使用Loki来采集K8S日志。
#### 步骤概览
| 步骤 | 操作 |
| --- | --- |
| 1 | 部署Pro
原创
2024-04-01 10:36:04
110阅读
本文资料来源：火车头采集器官网，但是讲解说明远优于官网！总结到位，重点解说明确—明月SEO上一篇我们讲到了：火车头采集器使用图文教程以及重点问题整理！ 本文将以一个简单的实测案例来说明，从而对重点问题进行细致入微的由浅入深的讲解。下面我们通过一个简单的文章规则制作，来实战说明通过采集faq为例来说明采集器采集的原理和过程。 一.新建个采集规则选择一个分组上右击，选择“新建任务”，如下图：
防火墙日志通过防火墙规则日志记录，您可以审核、验证和分析防火墙规则所带来的影响。例如，您可以确定用于拒绝流量的防火墙规则是否如期发挥作用。如果您需要确定某特定防火墙规则影响的连接数，日志记录功能也十分有用。对于您要记录其连接的每一条防火墙规则，您都要单独启用防火墙规则日志记录功能。防火墙规则日志记录选项适用于所有防火墙规则，与规则的操作(允许或拒绝)或方向(入站或出站)无关。如果您对某个
转载
2024-07-10 11:48:37
196阅读
上一部分：第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。
日志收集系统
一、Facebook Scribe贡献者：Facebook简介：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到
有待整理更新一、lokiInstallation | Grafana Loki documentation1、loki介绍Loki是 Grafana Labs 团队发布的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。项目受 Prometheus 启发，官方的介绍就是：Like Prometheus, but for logs.，类似于 Prometheus 的日志系统2、组件Loki
转载
2024-03-09 15:58:55
369阅读
文章目录00 收集日志的目的01 安装Docker环境1.1 Ubuntu18.04 安装 Docker1.2 Docker 安装 Nginx 镜像1.3 查看 Docker 镜像的日志文件02 Filebeat 根据容器 ID 收集 Docker 日志03 Filebeat 收集多个 Docker 容器日志3.1 启动多个容器3.2 配置 Filebeat 进行多容器日志收集04 根据服务类型
转载
2023-08-08 12:36:32
1959阅读
Docker logs 对于一个运行的容器，Docker 会将日志发送到 容器的 标准输出设备（STDOUT）和标准错误设备（STDERR），STDOUT 和 STDERR 实际上就是容器的控制台终端。举个例子，用下面的命令运行 httpd 容器：[root@host1 ~]# docker run -p 80:80 httpd
Unable
转载
2024-10-21 14:43:35
170阅读
