基于时间方式的清理目的通过脚本，定时检查磁盘中日志文件，删除指定时间之前的文件，避免存储空间溢出。思路一般我们的日志文件都会以日期+标识的方式来命名，所以我们可以通过比较日志文件名中日期部分，来判断日志是否已经过期，可以删除。但是字符串格式的时间我们是没法直接比较的，所以可以通过date +%s和date_before=date -d "x days ago" +%Y%m%d、date -d $d
转载
2024-10-11 06:50:15
14阅读
不考虑多副本的情况，一个分区对应一个日志（Log）。为了防止 Log 过大，Kafka又引入了日志分段（LogSegment）的概念，将Log切分为多个LogSegment，相当于一个巨型文件被平均分配为多个相对较小的文件，这样也便于消息的维护和清理。事实上，Log 和LogSegment 也不是纯粹物理意义上的概念，Log 在物理上只以文件夹的形式存储，而每个LogSegment 对应于磁盘上的
转载
2023-11-19 10:59:09
74阅读
Centos7下创建NFS存储一. 开篇三问～ Q1: 这次为什么要尝试NFS？ A1: 因为kubernets的PV打算使用nfs作为存储路径，并且支持 ReadWriteMany 模式被多个node同时读写。Q2: NFS是什么? A2: Network File System的缩写，即网络文件系统。客户端通过挂载的方式将NFS服务器端共享的数据目录挂载到本地目录下。Q3. NFS为什么需要R
转载
2024-05-08 21:06:31
40阅读
ELK 日志分析1. 为什么用到ELK？一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、 如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中 式日志收集系统，将所有节点上的日志统一收集，管理，访问。
一般大型系统是一个分布式
转载
2024-02-16 09:53:24
154阅读
目录1. 日志介绍2、日志类型3. 日志优先级4. 常用日志文件5. 日志清理脚本1、编写脚本2、计划任务 1. 日志介绍1. Linux系统拥有非常灵活和强大的日志功能，可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。
2. 大部分Linux发行版默认的日志守护进程为 rsyslogd（rsyslog 此服务是用来采集和分类系统日志的，它不产生日志，只是起到采集的作用），默认配置
转载
2024-02-29 15:25:08
71阅读
centos7开机启动自定义脚本大致分为一下几种方式一、通过CentOS7的rc-local服务启动 编辑rc.local文件（没有就自己建）vim /etc/rc.d/rc.local执行命令以sudo执行，不然可能会出现权限问题（楼主踩过的坑......），打印日志方便调试过程，&表示后台运行，故可能需要等待一段时间才能
转载
2024-02-29 15:06:29
94阅读
一、什么是ELK开源实时日志分析ELK平台由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/cn/products/ Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。&nbs
日志管理简介笔记日志服务： [root@localhost ~]# man rsyslogd #reliable and extended syslogd 前syslogd命令的替代者特点： 基于TCP传输日志信息、更加安全的传输方式、兼容syslogd、拥有及时分析框架、后台数据库等服务启动查看： [root@localhost ~]# ps aux | grep rsyslogd [root@
转载
2024-03-06 13:42:24
176阅读
最近在centos6.5系统上遇到程序疑似崩溃但是没有发现崩溃文件的问题，后来经过排查发现，竟然是崩溃后由于系统设置导致崩溃产生的core文件被移除的缘故。1.怎么确认程序发生过崩溃：打开 /var/log/messages 文件(也可能是带着日期的类似messages-xxxxx这样的文件)，然后在这个文件里通过关键字查找，关键字可以是你的程序名（我的是pausdk），如下图：linux会有一个
转载
2024-02-27 18:39:35
255阅读
第1章 ELK平台介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的
转载
2024-03-24 10:45:46
97阅读
---
# 在CentOS中收集和管理日志
在CentOS系统中，日志是非常重要的，它记录了系统的运行状态、错误信息等关键信息。通过管理和查看日志，可以帮助我们更好地了解系统的运行情况，及时发现和解决问题。本文将介绍如何在CentOS系统中收集和管理日志。
## 日志收集的流程
下面是在CentOS系统中收集和管理日志的流程，我们将使用Kibana、Logstash和Filebeat来实现
原创
2024-05-20 10:32:14
123阅读
本文Centos6.0日志服务器，可以方便统一查看服务器上的日志，并且写入数据库，进行web显示,方便查看；也起到了一定的安全的作用，当***离开clear history的时候，我们这边也是可以看到的；废话少说了，直接正题Client1: 192.168.244.154Client2: 略；一样的配置logserver:192.168.244.132LogAnalyzer是一个syslog和其他
一、问题描述某次某云主机访问异常，登录云主机后来发现vnc界面夯死，输入命令无反应，console界面发送重启指令也无反应，只能云平台管理页面强制重启。二、问题分析：1>重启后查看syslog日志发现，系统故障时间前后大量出现如下报错：Linux中，默认日志服务为rsyslog，系统内核和许多程序会产生各种错误信息、警告信息和其他的提示信息都会写入到syslog日志中。……
kernel:
转载
2024-08-27 08:12:52
648阅读
系统环境 为了安装时不出错，建议选择这两者选择一样的版本，本文全部选择5.3版本。System: Centos release 7.3Java: openjdk version "1.8.0_131"ElasticSearch: 5.3.1Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负
转载
2024-07-18 21:28:09
30阅读
Centos系统启动流程:预备知识:
Linux系统的组成部分: 内核+根文件系统
内核的功能: 进程管理、内存管理、网络协议栈、文件驱动、驱动程序
IPC: Inter Process Communication
消息队列: semerphor、shm
socket
运行中的系统环境可分为两层: 内核空间、用户空间
用户空间: 应用程序（进程或线程）
转载
2024-05-09 15:43:55
16阅读
作者：wzm112系统的那些讯息以及应该记录在那些档案, 或如何显示, 是由 /etc/syslog.conf 来控制的. 以下是 RedHat 的 /var/log 目录中一些重要的记录档案的说明. 1. /var/log/lastlog : 记录每个使用者最近签入系统的时间, 因此当使用者签入时, 就会显示其上次签入的时间, 您应该注意一下这个时间, 若不是您上次签入的时间, 表示您的帐号可
转载
2024-06-11 09:45:28
79阅读
1.mosquitto的日志输出方式简介mosquitto是一个纯C的代码，它的日志输出支持若干中日志输出方式，通过修改配置项：log_dest即可完成对各种日志输出类型的切换，常见的日志输出类型有有下几种：（1）控制台输出stdout、stderrrlog_dest stderr（2）输出到日志文档log_dest file /home/logs/mosquitto/mosquitto.log【
转载
2024-05-03 22:54:44
55阅读
Linux系统日志主要有三类：连接时间日志、进程统计日志和错误日志 连接时间日志 连接时间日志由多个程序执行，把记录写入到/var/og/wtmp和/var/run/utmp。ogin等程序更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。 进程统计日志 进程统计日志由系统内核执行。当一个进程终止时，为每个进程往进程统计文件（pacct或acct）中写一个记录。进
转载
2024-02-28 17:26:55
75阅读
CentOS 6.5 x64安装ELK日志分析系统环境说明：系统是CentOS 6.5x64,已经安装好编译环境已经安装好Tengine2.10已经关闭iptables核心软件包如下:elasticsearch-1.4.2.tar.gz下载链接:https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-
转载
2024-04-30 13:41:25
68阅读
1、概述日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这个文件里读取信息。Systemd统一管理所有Unit的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）。日志的配置文件是/etc/systemd/journald.conf。2、查看所有日志（默认情况下 ，只保存本次启动的日志）
[root@CE
转载
2023-09-10 22:04:50
357阅读
