文件的存储路径配置broker.properties#存储路径storePathRootDir=/app/rocketmq/store#commitLog 存储路径storePathComm
原创
2022-07-04 11:01:59
603阅读
这个问题要从 3 个方面来保证消息不丢失：即生产者、服务端、消费者。1.producer 生产端是如何保证消息不丢失的1.1 ack的配置策略acks 有3个值可选 0、1和-1（或者all），默认值为1，值为字符串类型，不是整数类型0：producer发送后即为成功，无需分区 partition 的 leader 确认写入成功1：producer发送后需要接收到分区的 leader 发送确认收到
转载
2024-03-27 12:53:14
28阅读
1.背景在移动互联网高速发展的时代，生活中 IM 类产品已经是我们离不开的应用了，像微信、钉钉等都是以 IM 为核心功能的社交产品。另外也有一些应用不是以 IM 为核心，但是也是其重要功能，比如在线游戏、电商直播等应用。在 IM 庞大的体系中，消息系统无疑是最核心的，而消息系统中，最关键的部分是消息的分发和存储。在以往传统消息系统中，对于在线的用户，消息会直接实时发送到在线的接收方，消息发送完成后
原创
2021-02-05 11:03:27
1388阅读
1 背景近期在学习《深入理解Kafka核心设计与实践原理》这本书。接下来希望将每次学习的收获与心得记录成文，也希望可以帮助到同样初入门的人。2 思维导图先分享一下我在学习Kafka的基本知识之后整理的思维导图。3 Kakfa介绍3.1 三大角色Kafka主要用于扮演三种角色，消息系统、存储系统、流式处理平台。3.1.1 消息系统Kafka被用于最多的是消息系统，Kafka和传统的消息系统都具备了系
转载
2024-03-07 12:58:19
31阅读
kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘，行为分析，运营监控等需求的情况下，需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求。从需求的根本上来说，高吞吐率是第一要求，其次是实时性和持久性。 既有的消息队列框架或者对消息传送的可靠性提供了较高的保证，由此带来较大的负担，不能满足海量高吞吐率的要
转载
2024-10-30 06:44:55
23阅读
数据结构（英语：data structure）是计算机中存储、组织数据的方式。数据结构是一种具有一定逻辑关系，在计算机中应用某种存储结构，并且封装了相应操作的数据元素集合。它包含三方面的内容，逻辑关系、存储关系及操作。不同种类的数据结构适合于不同种类的应用，而部分甚至专门用于特定的作业任务。例如，计算机网络依赖于路由表运作，B 树高度适用于数据库的封装。随着应用程序变得越来越复杂和数据越来越丰富，
转载
2023-11-14 06:39:22
105阅读
前言分布式队列因为有高可靠性的要求，所以数据要进行持久化存储款MQ—
原创
2022-12-01 16:45:30
187阅读
一，背景近期需要用到ActiveMQ接收Oozie执行作业之后的返回结果。Oozie作为消息的生产者，将消息发送给ActiveMQ，然后Client可以异步去ActiveMQ取消息。ActiveMQ作为基于 JMS 开源的Apache Message Provider，故记录下JMS相关基础知识。 二，基础知识&基本概念1）面向消息的中间件Message-oriented mid
HTTP 消息结构 HTTP 消息结构 HTTP是基于客户端/服务端（C/S）的架构模型，通过一个可靠的链接来交换信息，是一个无状态的请求/响应协议。 一个HTTP“客户端”是一个应用程序（Web浏览器或其他任何客户端），通过连接到服务器达到向服务器发送一个或多个HTTP的请求的目的。 一个HTTP
转载
2019-11-16 14:36:00
137阅读
2评论
HTTP 消息结构HTTP是基于客户端/服务端（C/S）的架构模型，通过一个可靠的链接来交换信息，是一个无状态的请求/响应协议。一个HTTP"客户端"是一个应用程序（Web浏览器或其他任何客户端），通过连接到服务器达到向服务器发送一个或多个HTTP的请求的目的。 一个HTTP"服务器"同样也...
转载
2016-05-03 22:25:00
76阅读
2评论
转载：RocketMQ源码学习--消息存储篇 消息中间件—RocketMQ消息存储（一） RocketMQ高性能之底层存储设计 存储架构 RMQ存储架构 上图即为RocketMQ的消息存储整体架构，RocketMQ采用的是混合型的存储结构，即为Broker单个实例下所有的队列共用一个日志数据文件（即
转载
2019-03-08 15:27:00
267阅读
2评论
RocektMQ 消息存储机制RocketMQ 作为一款优秀的分布式消息中间件，可以为业务方提供高性能低延迟的稳定可靠的消息服务。其核心优势是可靠的消费存储、消息发送的高性能和低延迟、强大的消息堆积能力和消息处理能力。从存储方式来看，主要有几个方面：文件系统分布式KV存储关系型数据库从效率上来讲，文件系统高于KV存储，KV存储又高于关系型数据库。因为直接操作文件系统肯定是最快的，那么业界主流的消息
转载
2024-10-17 11:14:27
30阅读
HTTP是基于客户端/服务端（C/S）的架构模型，通过一个可靠的链接来交换信息，是一个无状态的请求/响应协议。一个HTTP"客户端"是一个应用程序（Web浏览器或其他任何客户端），通过连接到服务器达到向服务器发送一个或多个HTTP的请求的目的。一个HTTP"服务器"同样也是一个应用程序（通常是一个Web服务，如Apache Web服务器或IIS服务器等），通过接收客户端
转载
2022-06-01 18:53:54
56阅读
接上篇RocketMQ源码解析之Broker消息存储（消息接收） DefaultMessageStore#asyncPutMessage /** * 进行存储 * * @param msg MessageInstance to store * @return */ @Override public ...
转载
2021-09-30 16:29:00
373阅读
2评论
MongoDB作为NoSQL数据库，基于分布式环境的场景下，对于系统架构的性能是要求比较高的。面对分布式场景下的大规模数据存储，MongoDB以文档型存储任务为主。今天的大数据开发学习分享，我们就来讲讲MongoDB系统架构。 通常来说，数据库的整体逻辑体系架构包括：数据库实例、数据库、集合、文档、字段等。 MongoDB单实例逻辑架构 磁盘文件经过加载之后后形成Mong
转载
2023-08-15 09:56:49
167阅读
OLTP:在线业务处理里系统(如银行前台,存数据,读数据 跟数据库交互操作)OLAP:在线数据分析系统(只能读数据出来,不能写.如数据仓库, 源数据是在 OLTP上通过ETL抽取出来)操作系统块 ext3 为4koracle 块为系统块的整数倍 默认8k查看系统块大小[oracle@sq ~]$ getconf PAGESIZE4096查看数据库默认块(8k)SQL> show p
原创
2016-01-21 18:37:17
765阅读
存储结构是数据的逻辑结构用计算机语言的实现，常见的存储结构有 顺序存储，链式存储，索引存储，以及散列存储。其中散列所形成的存储结构叫散列表（又叫哈希表），因此哈希表也是一种存储结构。栈只是一种抽象数据类型，是一种逻辑结构，栈逻辑结构对应的顺序存储结构为 顺序栈，对应的链式存储结构为链栈。循环队列是队列的顺序存储结构，链表是线性表的链式存储结构。 数据：指能够被计算机识别，存储，加工处理的信息载
转载
2024-07-24 12:19:58
46阅读
HBase是一个查询极其快速的非关系型数据库，它在实时读写和实时访问上有着巨大的优势，并且非常灵活。今天小鸟就从HBase的存储结构来向大家揭秘其强大之处。之前小鸟已经介绍过HBase的系统架构了，没有看过的同学欢迎翻阅之前的文章：大数据Hadoop工具，HBase系统架构简介下面正式进入今天的主题：HBase的存储结构先来看下面这幅图：这是一个HBase表的存储结构模型，其中有4个字段。分别为R
转载
2023-06-14 15:25:12
176阅读
应用场景迄今为止，我们写的Python代码都是一条一条语句顺序执行，这种代码结构通常称之为顺序结构。然而仅有顺序结构并不能解决所有的问题，比如我们设计一个游戏，游戏第一关的通关条件是玩家获得1000分，那么在完成本局游戏后，我们要根据玩家得到分数来决定究竟是进入第二关，还是告诉玩家“Game Over”，这里就会产生两个分支，而且这两个分支只有一个会被执行。类似的场景还有很多，我们将这
转载
2024-10-09 22:34:19
36阅读
