阿里巴巴高级工程师赵汉青主要从五个方面对Elasticsearch在日志分析场景的应用与运维实践的问题进行详细讲解，分别对Elasticsearch及相关产品介绍、基于ELK+Kafka的日志分析系统、Elasticsearch运维实践、Elasticsearch优化经验以及阿里云Elasticsearch服务几个方面进行了详细的介绍。更多Elasticsearch相关信息请点击直播视频回顾PPT
转载
2024-06-06 11:48:47
52阅读
在MySQL服务器启动时，它检查其命令行的操作，来查看它是否应该执行登录并打开相应的日志文件（如果应该的话）。可以让服务器生成两种主要类型的日志文件：常规日志文件。它报告客户机的连接、查询和其他各种各样的事件。它对于跟踪服务器的活动很有用：谁正在连接、从哪里连接，以及他们正在做什么。
更新日志
它报告修改数据库的查询。在此上下文中的术语“更新”不只涉及UPDATE语句，还涉及修改数据库的所有语
转载
精选
2012-07-23 14:34:11
432阅读
MySQL服务器有好几种日志。在诊断故障、改善性能、简历复制机制和崩溃恢复等工作中很有用这里首先说明一点binlog的日志格式三种：STATEMENT,ROW,MIXED每一种格式都各有千秋1.Statement：每一条会修改数据的sql都会记录在binlog中。优点：不需要记录每一行的变化，减少了binlog日志量，节约了IO，提高性能。(相比row能节约多少性能
与日志量，这个取决于应用的SQ
原创
2015-04-16 19:31:16
542阅读
清空 /var/log/journal 文件的方法1、用echo命令，将空字符串内
原创
2022-01-19 09:40:27
1133阅读
清空 /var/log/journal 文件的方法1、用echo命令，将空字符串内容重定向到指定文件中echo "" > system.journal说明：此方法只会清空一次，一段时间后还要再次手动清空很麻烦，这里可以用以下命令让journalctl 自动维护空间2、journalctl 命令自动维护文件大小1）只保留近一周的日志journalctl --vacuum-time=1w2）只保留500MB的日志journalctl --vacuum-size=500M3）直接删除
原创
2021-10-29 13:44:15
10000+阅读
初级 puppet windows agent实现简单的msi格式安装包安装及bat文件创建;对windows推送时上一级目录不存在报此错误fileserver.conf 推送source 目录配置
原创
2021-12-30 14:25:46
78阅读
24.3. 日志文件维护把数据库服务器的日志输出保存在一个地方是个好主意， 而不是仅仅通过/dev/null丢弃它们。 在进行问题诊断的时候，日志输出是非常宝贵的。不过，日志输出可能很庞大（特别是在比较高的调试级别上）， 因此你不会希望无休止地保存它们。你需要轮转日志文件，这样在一段合理的时间后会开始新的日志文件并且移除旧的。
原创
2022-02-09 17:00:59
70阅读
24.3. 日志文件维护把数据库服务器的日志输出保存在一个地方是个好主意， 而不是仅仅通过/dev/null丢弃它们。 在进行问题诊断的时候，日志输出是非常宝贵的。不过，日
原创
2021-08-17 16:48:43
99阅读
示例：alter tablespace aaa add datafile '+DATA' size 10G;最后生成数据文件：+DATA/数据库的名称/表空间名称/和随机字符串
原创
2013-06-18 08:28:25
945阅读
最近一直在做项目维护，由于项目比较大，开发时间比较早，早期的很多页面都是用xib拖拽页面控件。简单的页面还好，详情页面也是拖拽搭建，项目维护成本可想而知。闲言少叙，下面说一下不是特别复杂的xib页面维护技巧。 1、打开xib文件页面，打开右侧属性面板，直接去除掉对应的布局设置； 2、右键单击各个控件 ...
转载
2021-07-16 09:21:00
408阅读
2评论
每天写一点，总有一天我这条咸鱼能变得更咸 python中对于字符串转json格式有专门的json库可以操作#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File : test4.py
# @Author: gaojian
# @Date : 2017/12/20
# @Desc :
import json
a='{"aa":"a
转载
2023-06-19 23:18:04
76阅读
实验四、路由器的文件维护 一、 实验目的 a) 掌握路由器的软件升级 b) 备份和还原路由器的配置文件 二、 应用环境 a) 路由器生产厂家会不断推出新的软件版本，增加新的功能，管理员需要及时升级 b) 配置文件需要及时备份， 当文件损坏，或者设备更换时能快速恢复 c) 正常情况下可以通过 TFTP 或者 FTP 方式，当设备无法正常启动时可以通过 ZMODEN 方式恢复。 三、
原创
2010-10-06 19:39:00
774阅读
先总结一下最近的一个技巧： 将JAVA中的一种配置文件方式引入PHP，想
原创
2022-08-05 16:52:39
21阅读
Kafka的Log日志梳理Topic下的消息是如何存储的？在搭建Kafka服务时，在server.properties配置文件中通过log.dir属性指定了Kafka的日志存储目录。 实际上，Kafka的所有消息就全都存储在这个目录下。这些核心数据文件中，.log结尾的就是实际存储消息的日志文件。大小固定为1G(由参数 log.segment.bytes参数指定)，写满后就会新增一个新的文件。一个
转载
2024-07-18 17:00:37
128阅读
Kafka基本概念 Apache Kafka 是一个分布式发布 - 订阅消息系统和一个强大的消息队列，可以处理大量的数据，并使你能够将消息从一个端点传递到另一个端点。 Kafka 适合离线和在线消息消费。 Kafka 消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka 构建在 Zookeeper 同步服务之上。 它与 Apache Storm 和 Spark 非常好地集成，用于实时流式数
转载
2024-07-04 15:29:38
61阅读
1 Kafka操作日志的清理方法Kafka0.8版本长时间运行过程中，在kafka_2.8.0-0.8.0/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2014-12-08-03和server.log.2014-12-06-03，这些文件对磁盘空间的消耗非常大，需要
转载
2024-03-25 22:15:23
72阅读
点赞
ELK 日志系统的常见解决方案： 通常的产品或项目部署至服务器，服务一般会打印日志便于线上问题跟踪。 使用 Log4j 中的自定义 Appender，将服务运行打印的日志直接推送到 Kafka 中。经由 Logstash 消费 Kafka 生产的数据，进行加工过滤后输出到 ElasticSearch 进行日志数据的存储与全文检索。使用 Kibana 对日志数据进行可视化操作。1. 单点日志系统设计
转载
2024-03-19 02:11:58
97阅读
概述 日志段及其相关代码是 Kafka 服务器源码中最为重要的组件代码之一。你可能会非常关心，在 Kafka 中，消息是如何被保存和组织在一起的。毕竟，不管是学习任何消息引擎，弄明白消息建模方式都是首要的问题。因此，你非常有必要学习日志段这个重要的子模块的源码实现。今天，我会带你详细看下日志段部分的源码。不过在此之前，你需要先了解一下 Kafka 的日志结构日志是 Kafka 服务器端代
转载
2024-07-31 19:29:51
36阅读
2020/12/05 博客重构 2021/6/2 修复了博客侧边栏无法显示的问题
原创
2022-05-25 10:06:12
112阅读
1、Kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级
转载
2024-03-19 01:45:30
88阅读
