在业内常见的部署组合就是ELK系统了，ELK是elasticsearch、logstash、kibana三个系统的首字母组合。接下来的几篇博客会从整体和三个系统细分角度看ELK如何使用。使用场景说道日志，一般有这么几类：异常日志、请求日志、操作日志。异常日志是大家写代码时经常看到的日志堆栈，这类日志有很多行，详细列出了异常信息、异常名称、出错的代码调用栈、内部异常原因（Caused b
转载
2024-05-06 09:52:50
36阅读
SELECT DATE_FORMAT(DATE_SUB(NOW(), INTERVAL ac DAY), '%Y-%m-%d') as dateFROM ( SELECT @ai:=@ai+1 as ac from (SELECT 1 UNION SELECT 2 UNION SELECT 3 UN ...
转载
2021-07-24 11:17:00
1654阅读
2评论
# Python 打印近30天日期的实现方法
## 1. 概述
在日常开发中，我们经常需要获取最近一段时间内的日期。本文将教你如何使用Python实现打印近30天的日期。
## 2. 实现步骤
下面是实现这个功能的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 导入datetime模块 |
| 2 | 获取当前日期 |
| 3 | 循环打印近30天的日期 |
接下来
原创
2024-02-17 05:33:02
242阅读
一、ELK1.ELK 简介Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。事实上Elasticsearch的完整栈有如下的几个：BeatsFilebeat是本地文
关键字（保留字）
在Python终端输入：
>>> import keyword
>>> keyword.kwlist
['False', 'None', 'True', 'and', 'as', 'assert', 'break',
'class', 'continue', 'def', 'del', 'elif', 'else', 'except',
'fi
转载
2024-09-24 09:29:15
36阅读
ELK---日志分析系统一.ELK的组件及其组件功能二.ELK工作原理三.elasticsearch介绍3.1 集群(cluster)3.2 节点( node)3.3 索引(index)3.4 类型( type)3.5 文档( document)3.6 分片和副本(shards & replicas)四.logstash介绍4.1 logStash的主要组件4.2 LogStash主机分
转载
2024-06-18 20:09:07
72阅读
# Hive SQL 获取当前30天日期
Hive 是一个基于 Hadoop 的数据仓库基础设施，可以用来查询和分析海量数据。Hive SQL 提供了丰富的查询语法，使得对数据的操作更加简单。在数据分析中，获取特定时间范围内的数据是一个常见的需求，例如获取当前日期的前30天。这篇文章将介绍如何使用 Hive SQL 获取当前30天的日期，并提供相应的代码示例。
## 获取当前30天的日期
在
原创
2024-08-20 10:20:46
290阅读
一、需求背景随着业务发展越来越庞大，服务器越来越多，各种访问日志、应用日志、错误日志量越来越多，开发人员排查问题，需要到服务器上查日志，不方便。运营人员需要一些数据，需要我们运维到服务器上分析日志。二、简介 ELK是 ElasticSearch、 Logstash 、 Kibana的简称，主要用于解决日志的采集、分析、存储、查看问题。也有人称为EF
转载
2024-02-21 20:11:29
288阅读
ELK日志系统日志系统的三个基本组件：采集端：agent（采集日志数据，封装数据源，将数据源中的数据发送给collector）聚合端：collector（按一定规则进行数据处理，接收多个agent的数据，并进行汇总后导入后端的host中）存储端：store（日志存储系统，应该具有可扩展性和可靠性，如HDFS、ES等）ELK的应用场景我们一般获取日志文件直接从服务的日志目录里面获取，但是如果我们的服
转载
2024-03-13 09:03:20
223阅读
## 使用MySQL查询近30天每一天日期
在数据分析和报表制作中，获取特定日期范围的数据是一个常见的需求。本文将探讨如何使用MySQL查询最近30天内的每一天日期，并提供代码示例以帮助您实现这一目的。
### 一、基本思路
我们要查询的目标是近30天的每一天的日期。可以通过MySQL的日期函数以及生成日期序列的方法来实现。具体来说，我们可以利用MySQL的`CURDATE()`函数获取当前
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。日志收集后就存储在这里Logstash是用来收集日志，过滤并发送给Elasticsearch的，但是Elasticsearch非常占资源，新增了一个FileBeat，它是一个轻量级的日志收集
转载
2024-03-22 13:38:42
433阅读
APP安全学习笔记 本文首先明确了APP安全的目标，然后对常见的APP进行了整理分析，并研究学习了APK的静态分析与动态分析技术，最后介绍了安卓的测试技术和常见的安全评估工具。附录处整理了2014年和2015年的OWASP移动风险Top10.1.安卓APP安全的目标1.1保护用户的数据[1]][[2]]
转载
2024-07-18 05:21:16
27阅读
rsyslog Linux的日志记录了用户在系统上一切操作，看日志去分析系统的状态是运维人员必须掌握的基本功。 rsyslog日志服务器的优势：1、日志统一，集中式管理 2、日志实时传送到一个更加安全的远端服务器上，真正记录用户行为，使日志的2次更改可能性大大降低，从而能够对日志进行真实回放，便于问题追踪。rsyslog的新功能： rsy
转载
2024-03-28 22:12:05
482阅读
1、概述很多系统的日志都会放在 Kibana 供查询，就是所谓的 ELK。Kibana 除了可以使用界面供的一些 tab 或者 button 去筛选日志，也可以在搜索栏中使用 Lucene 的语法简单的交互式查询。可以做基于字段的特定搜索，过滤数据，也可以查看索引号的文档。查询的语法可以参考 官方文档 ，非常易读，非常容易，包括正则语法和其他模糊匹配方法。2、Lucene 语法查询2.1、简易查询
转载
2024-05-31 22:06:46
100阅读
一、什么是日志日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。 在日常运维中日志是不可或缺且非常重要的一环。二、日志的查看日志储存在位置在/var/log 下，不同的文件承载着不同的日志信息。举例如下：/var/log/message ##系统启动后的信息和错误日志，是Red Hat
转载
2024-02-12 20:22:30
52阅读
PHP打印本月天数：
转载
2017-10-25 20:30:00
751阅读
2评论
实现Java每7天日志自动清理
作为一名经验丰富的开发者，我很高兴能够教会你如何实现Java每7天日志自动清理的功能。在开始之前，让我们先来了解一下整个流程，然后再逐步进行实现。
整体流程如下所示：
```mermaid
journey
title Java每7天日志自动清理流程
section 步骤
清理日志文件 --> 设置定时任务 --> 定时执行清理
原创
2024-01-21 04:56:57
561阅读
本文主要向大家介绍了MySQL数据库之MYSQL日志的正确删除方法详解 ，通过具体的内容向大家展现，希望对大家学习MySQL数据库有所帮助。本文详细讲述了MYSQL日志的正确删除方法。分享给大家供大家参考，具体如下：1.查找：MySQL> show binary logs;+—————-+———–+| Log_name | File_size |+—————-+———–+| mysql-bi
在Kubernetes（K8S）环境中，定时删除七天前的日志是一项常见的操作，可以帮助我们管理日志文件，节省存储空间。在Linux系统中，我们可以通过cron定时任务来实现定时删除七天前的日志文件。
整体流程可以分为以下步骤：
| 步骤 | 描述 |
|----------------
原创
2024-05-08 10:32:36
170阅读
Mysql 1、什么是索引 索引是帮助mysql快速获取数据的数据结构，我们常用的索引结构是B+TREE 2、索引的优势  
