文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏，在此类意外事件中，导致文件系统损坏的根本原因在于写文件不是原子操作，因为写文件涉及的不仅仅是用户数据，还涉及元数据(metadata)包括 Superblock、inode bitmap、inode、data block bitmap等，所以写操作无法一步完成，如果其中任何一个步骤被打断，就会造成数据的不一致或损坏。举一个简化的
转载
2024-10-14 21:44:30
18阅读
因为学Spring发现有盲区，只能趁年轻，慢慢扫盲了，该篇博客主要是将关于log4j这个开源日志记录工具，说实话，日志这东西真没用过，然而现在发现各种项目都要牵扯。所以学完写写总结吧一、日志作用主要用来记录系统运行中的一些重要操作信息便于监视系统运行情况，帮助用户提前发现和避开可能出现的问题，或者出现问题后根据日志找到原因二、日志分类SQL日志异常日志业务日志三、log4j开源日志记录工具其实JD
## 埋点数据存在 MySQL 还是 MongoDB？
在应用程序开发中，埋点数据是指在用户使用应用程序过程中，通过监控和记录用户操作行为、性能数据等信息。通过对这些数据进行分析，开发者可以获得用户行为和应用程序性能的更深入的了解，从而优化应用程序和提供更好的用户体验。
在选择存储埋点数据时，开发者常常会面临选择将数据存储在 MySQL 还是 MongoDB 的抉择。MySQL 和 Mongo
原创
2023-08-10 16:04:46
636阅读
Linux常见的日志文件详述如下 1、/var/log/boot.log（自检过程） 2、/var/log/cron （crontab守护进程crond所派生的子进程的动作） 3、/var/log/maillog （发送到系统或从系统发出的电子邮件的活动） 4、/var/log/syslog （它只记录警告信息，常常是系统出问题的
由于一些历史原因，php中并没有内建的日志接口，故长期以来也没一个功能完备并且应用广泛的日志库。在我的工作生涯中，如果系统需要记录一些应用日志的话，基本上就是封装一个日志类，然后把一些要记录的字段写入到磁盘文件。 这样就难免要一遍一遍的造轮子，并且在没有一个规范的情况下，记录下来的日志也是不方便分析的。但是希望读完本文后希望你们可以放弃自己造这种日志类的轮子了，因为几乎你不可能造得比我们今天要介
转载
2024-07-22 20:29:45
158阅读
内存映射存储引擎:MongoDB使用的是内存映射存储引擎，它会把磁盘IO操作转换成内存操作，如果是读操作，内存中的数据起到缓存的作用，如果是写操作，内存还可以把随机的写操作转换成顺序的写操作，总之可以大幅度提升性能。MongoDB并不干涉内存管理工作，而是把这些工作留给操作系统的虚拟内存管理器去处理，这样的好处是简化了MongoDB的工作，但坏处是你没有方法很方便的控制MongoDB占多大内存，事
转载
2023-08-07 23:07:44
134阅读
# 从JSON文件存储到MySQL或MongoDB的流程
在这篇文章中，我将向你介绍如何将JSON文件存储到MySQL或MongoDB数据库中的步骤和相关代码。我们将依次介绍整个流程，并使用表格展示每个步骤。
## 流程
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 读取JSON文件 |
| 步骤2 | 解析JSON数据 |
| 步骤3 | 连接数据库 |
| 步骤4
原创
2023-10-16 05:14:31
101阅读
一、mysql数据库内各类日志文件如下： 1、 二进制日志（binlog日志）（归档日志） 2、error日志 3、查询日志 4、慢查询日志 &
转载
2024-06-11 10:48:45
53阅读
一、ELK介绍1.1、ELK简介ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称(但是后期出现的filebeat(beats中的一种)可以用来替代logstash的数据收集功能，比较轻量级)。市面上也被称为 Elastic Stack。Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将
转载
2024-01-12 17:51:15
107阅读
学习目标：查找和准确解读系统日志，用于故障排除学习内容：1 . 描述系统日志架构系统日志： -进程和内核都会记录日志，有助于进行故障排除 -系统日志保存在 /var/log 目录中，使用 less 和 tail 命令可以查看 -RHEL 日志基于 Syslog 协议，systemd-journald 和 rsyslog 服务处理syslog 日志 -systemd-journald 是日志架构核心
一、系统日志进程和操作系统内核需要能够为发生的事件记录日志，这些日志可用于系统审核和问题的故障排查。依照惯例，这些日志永久存储在/var/log目录中。Redhat 7中系统的日志消息由两个服务负责处理，它们是system-journald和rsyslog。systemd-journald守护进程提供一种改进的日志管理服务，可以收集来自内核，启动过程的早期阶段，标准输出，系统日志，以及守护进程启动
转载
2024-07-16 19:11:04
117阅读
# MongoDB数据存在内存还是磁盘的实现流程
## 1. 简介
在使用MongoDB时，数据可以存储在内存中，也可以存储在磁盘上。内存存储可以提供更高的读写性能，而磁盘存储则可以处理更大量的数据。在实际应用中，我们需要根据具体需求来选择合适的存储方式。
## 2. 实现流程
```
graph TD
A[连接MongoDB] --> B[创建索引]
B --> C[设置存储引擎]
C -
原创
2023-09-17 03:56:55
627阅读
最近一直在考虑架构的事情，有一个问题依然困扰着我们这些做业务系统的，那就是日志以及日志统计。大概的问题如下：我们有很多模块，日志格式虽然类似但都写在各自的服务器和目录中。日志中有很多信息是key=>value格式的数据。通常一个功能上线后，PM或者需求方都会要求一些统计数据以及报表之类，用来跟踪功能的使用效果。通常PM是不懂写程序的，因此统计数据的事情多半又提给RD。这种统计数据和报表，
转载
2024-07-08 10:26:12
309阅读
mysql日志系统简单使用 MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。在任何一种数据
转载
2024-01-12 10:33:11
1313阅读
Mysql为什么会有日志系统？ 我们知道，mysql的数据是存储在磁盘的，每次更新数据需要先进入磁盘，然后在磁盘中找到需要更新的数据，这样会产生IO成本以及查找成本，这样会大大降低Mysql的性能。所以mysql就采用先存入日志文件，当系统空闲的时候，mysql再通过日志文件将数据存入磁盘。当然日志文件还要其他的作用，比如主从模式下，保证主库和丛库的数据一致性，也会用到日志文件（binlog），
转载
2024-05-17 17:52:13
107阅读
JSON，全称为Java Script Object Notation，也就是 JavaScript对象标记，通过对象和数组的组合来表示数据，虽构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。
转载
2023-08-05 17:18:02
145阅读
mongo 与MySQL的简单概念对比MongoDB 以 BSON 结构（二进制）进行存储MongoDB 的所有数据实际上是存放在硬盘的，所有要操作的数据通过 mmap 的方式映射到内存某个区域内 ， MongoDB 在内存中修改了数据后，mmap 数据flush到硬盘之前，系统宕机了，数据就会丢失。存储方式：虚拟内存+持久化mmap 系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文
转载
2023-07-05 21:59:03
667阅读
## 实现"mysql binlog日志存在"的步骤
下面是实现"mysql binlog日志存在"的步骤表格：
步骤 | 描述
--- | ---
步骤 1 | 连接到MySQL数据库
步骤 2 | 开启binlog日志
步骤 3 | 配置binlog日志保存路径
步骤 4 | 设置binlog日志保留时间
步骤 5 | 检查binlog日志是否存在
接下来，我们将详细介绍每一步需要做什么
原创
2023-10-29 04:50:54
27阅读
# MySQL 结束事务后的数据存储——深入理解事务管理
在数据库中，事务是一个至关重要的概念。它是一个操作序列，作为一个整体执行。事务的目的是确保数据库在多个操作之间保持一致性。当我们在使用 MySQL 进行数据库操作时，理解如何管理事务的结束与数据存储至关重要。本文将深入探讨事务的结束，以及在某些情况下数据仍然存在的原因，并结合相关代码示例、甘特图和序列图进行分析。
## 1. 什么是事
Mysql 日志是什么？所谓日志，就是一种将行为动作记录到一个地方，这个地方可以是文件，文本等可存储的载体。Mysql日志就是记录整个mysql从启动，运行，到结束的整个生命周期下的行为。日志类型MySQL 中有七种日志文件，分别是：二进制日志（binlog）重做日志（redo log）回滚日志（undo log）错误日志（errorlog）慢查询日志（slow query log）一般查询日志（
转载
2023-07-20 14:42:22
114阅读
