应用场景
1. MongoDB主要用于大量的数据读写，关系型数据库最怕的就是大量的数据读写，因为会有磁盘的IO 操作。
2. 比如可以用MongoDB存储一些仪器上面的数据，这些仪器可能每秒就会产生成千上万条数据。
转载
2023-08-04 10:09:54
139阅读
# MongoDB 数据丢失及其解决方法
MongoDB是一种流行的开源文档数据库，广泛应用于各大企业和互联网公司的数据存储和分析场景中。然而，在使用MongoDB时，有时会出现数据丢失的情况，这对于数据的完整性和可靠性来说是一个严重的问题。本文将介绍MongoDB数据丢失的原因、解决方法以及预防措施。
## 数据丢失的原因
MongoDB数据丢失的原因可以分为两类：人为原因和系统原因。人为
原创
2024-01-14 05:47:23
425阅读
mongodb数据库的概念在计算机出现之前，那个时候，都是通过纸质文件来保存数据。这种方式肯定有缺点：容易丢失和损坏占用空间大，浪费资源（纸张，树，破坏环境，全球变暖，人类灭绝。。。）查找数据困难后来，出现了计算机，人们选择使用计算机来保存数据。最常见的是 word 和 excel。查询不便如果是很大的文件，打开都非常费力，非常容易丢失数据或者损坏为了解决上述的问题，数据库出现。顾名思义，就是存储
转载
2023-08-13 22:07:05
290阅读
作者：挨踢直男mongodb是一种非关系数据库，最常见的作用是在某些领域作为关系数据库的替代品，相较于关系数据库它在性能上更有优势，因为不对事务以及数据完整性有硬性要求，所以在写入数据时效率更高。同时，mongdb的数据存储结构也比较灵活，只要是一个json结构就可以存储，相较于关系数据库的表结构定义，更加快捷方便。因为这些优势，mongodb迅速崛起，不断蚕食关系数据库从上个世纪就开始积累的市场
rabbitmq如何保证消息的可靠性1、保证消息不丢失1.1、开启事务（不推荐）
1.2、开启confirm（推荐）
1.3、开启RabbitMQ的持久化（交换机、队列、消息）
1.4、关闭RabbitMQ的自动ack（改成手动）2、保证消息不重复消费2.1、幂等性（每个消息用一个唯一标识来区分，消费前先判断此标识有没有被消费过，若已消费过，则直接ACK）rabbitmq如何保证消息的顺序性将消息
转载
2024-05-15 15:00:11
82阅读
周末四台mongodb主机同时断电，起来后shard中两个分片的主副本全部损坏。瞬间我xxxxxxxxx，此处省略300字。接下来开始我的漫长修复之旅。先说明下，我的存储数据有11亿条，20T。一、先修复shard0004的第一个复制集吧，先尝试用了官方的mongod repair.跑了2天，还是奔溃了，报其中几个collection的wt文件找不到。马上百度、google，居然都没有人提到这个问
转载
2023-09-16 14:46:24
243阅读
MySQL数据如何保证不丢失一、概述MySQL关系型数据库，是日志先行策略（Write-Ahead Logging），只要binlog和redo log日志能保证持久化到磁盘，我们就能确保MySQL异常重启后，数据不丢失。二、redo log日志redo log重做日志文件，只记录事务对数据页做了哪些修改，它记录的是数据修改之后的值，支持崩溃恢复crash-safe。随便说下undo log日志，
转载
2023-09-27 16:56:59
59阅读
RabbitMQ一般情况很少丢失，但是不能排除意外，为了保证我们自己系统高可用，我们必须作出更好完善措施，保证系统的稳定性。下面来介绍下，如何保证消息的绝对不丢失的问题，下面分享的绝对干货，都是在知名互联网产品的产线中使用。1.消息持久化2.ACK确认机制3.设置集群镜像模式4.消息补偿机制第一种：消息持久化RabbitMQ 的消息默认存放在内存上面，如果不特别声明设置，消息不会持久化保存到硬盘上
转载
2023-12-22 20:58:15
57阅读
MongoDB数据库介绍：MongoDB数据库是文档数据存储库，将文档存储在集合之中，不是像MySQL一样的关系型数据库。MongoDB数据库是开源数据库，同时提供具有附加功能的商业版本。MongoDB数据库中的数据是以键值对(key-value pairs)的形式显示的，因此在模式设计上数据库受到的约束少，非常适合具有快速增长或其他变化需求的数据。MongoDB提供了预定义的结构，用户可以按需采
转载
2024-07-26 13:41:50
32阅读
mongodb数据诡异丢失事件发生原因分析解密时刻深刻教训 事件发生5月13日17:20左右，接到用户报告，应用的数据丢失，数据全部恢复到最初始的状态。 由于此应用是docker部署在K8S平台，首先查询了一下mongodb容器的日志，发现在17:10左右有一次容器重启。 mongodb容器采用了“有状态负载”的部署，所以有一块持久化的Volume，部署在A节点，当时不是很担心。 后来运维报告，
转载
2023-08-02 23:41:41
210阅读
目录1. MongoDB简介1.1 什么是MongoDB 1.2 MongoDB的优点1.3 MongoDB数据库最重要的三个概念1.4 MongoDB基本概念和MySQL 基本概念对比2. MongoDB的安装与基本使用2.1 官网下载mongodb2.2 配置环境变量2.3 创建数据库存放位置2.4 开启数据库服务2.5 关闭数据库服务器2.6 mongo命令
消息队列防止消息不丢失1、 生产者发送消息到broker失败；生产者使用事务消息。2、 Broker集群主从同步失败；两阶段提交，多数节点成功后提交。3、 MQ异步刷盘，可能会消息丢失；改为同步刷盘。4、 Broker发送消息到消费者失败；消费者ack机制。5、 MQ集群挂掉了，生产者无法发送消息到MQ；消息临时存储在redis、文件或数据库中。 事务
转载
2023-07-06 22:19:19
96阅读
目录1 binlog的写入机制2 redo log的写入机制3 组提交3.1 日志逻辑序列号（log sequence number，LSN）3.2 组提交1 binlog的写入机制binlog的写入逻辑比较简单：事务执行过程中，先把日志写到binlog cache，事务提交的时候，再把binlog cache写到binlog文件中。一个事务的binlog是不能被拆开的，不论事
转载
2024-02-19 10:36:52
29阅读
Producer根据指定的partition方法（默认round-robin(轮询)、hash等），将消息发布到指定topic的partition里面；kafka集群接收到Producer发过来的消息后，将其持久化到硬盘，并保留消息指定时长（可配置），而不关注消息是否被消费；Consumer从kafka集群pull数据，并控制获取消息的offset。producer 的deliver guaran
转载
2024-02-16 17:57:40
73阅读
这篇文章主要介绍了防止服务器宕机时MySQL数据丢失的几种方案,结合实践介绍了Replication和Monitor以及Failover这三个项目的应用,需要的朋友可以参考下。对于多数应用来说，MySQL都是作为最关键的数据存储中心的，所以，如何让MySQL提供HA服务，是我们不得不面对的一个问题。当master 当机的时候，我们如何保证数据尽可能的不丢失，如何保证快速的获知master当机并进行
转载
2023-10-30 22:03:46
79阅读
1、数据丢失: acks=1的时候(只保证写入leader成功)，如果刚好leader挂了。数据会丢失。 acks=0的时候，使用异步模式的时候，该模式下kafka无法保证消息，有可能会丢。2、brocker如何保证不丢失: acks=all: 所有副本都写入成功并确认。 retries = 一个合理值。 min.insync.replica...
原创
2022-05-16 09:40:27
1210阅读
前言本专栏为了帮助大家更好的了解学习redis，同时也是自己记录学习redis的内容，包含了大部分的redis核心技术，分布式锁，主从复制等目录专题3-AOF日志：宕机了，Redis如何避免数据丢失专题3-AOF日志：宕机了，Redis如何避免数据丢失因为redis的数据是存在内存中的，一旦服务器宕机，内存中的数据会全部丢失。AOF：redis先执行命令，把数据写入内存，然后才记录日志。AOF优点
转载
2023-09-02 19:26:29
38阅读
RabbitMQ一般情况很少丢失，但是不能排除意外，为了保证我们自己系统高可用，我们必须作出更好完善措施，保证系统的稳定性。下面来介绍下，如何保证消息的绝对不丢失的问题，下面分享的绝对干货，都是在知名互联网产品的产线中使用。消息持久化ACK确认机制设置集群镜像模式消息补偿机制第一种：消息持久化RabbitMQ 的消息默认存放在内存上面，如果不特别声明设置，消息不会持久化保存到硬盘上面的，如果节点重
转载
2023-09-04 17:01:36
92阅读
# Docker重启不丢失数据
## 背景
在使用Docker部署应用程序时，通常会遇到需要重启容器的情况。然而，重新启动容器可能会导致数据丢失的问题，这对于一些重要的应用程序来说是不可接受的。本文将介绍如何使用Docker保证重启不丢失数据，并提供相应的代码示例。
## Docker数据卷
Docker提供了数据卷（Volume）的机制，用于将宿主机上的目录或文件挂载到容器内部，从而实现数据
原创
2024-01-11 10:20:45
238阅读
1. mongoDB是什麽
mongodb是时下流行的NoSql数据库，它的存储方式是文档式存储，并不是Key-Value形式。存储在集合中的文档，被存储为键-值对的形式。键用于唯一标识一个文档，为字符串类型，而值则可以是各种复杂的文件类型。我们称这种存储形式为BSON（Binary JSON）。模式自由（schema-free)，意味着对于存储在mongodb数据库中的文件，我们不需
转载
2023-08-10 11:43:37
550阅读
