文章目录RocketMQ的下载方式官网下载Github下载2.安装环境要求说明一、Windows中的安装1.官网中下载RocketMQ的运行版本2.解压压缩包到磁盘制定路径3.配置系统中的环境变量4.启动RocketMQ首先启动NameServer然后启动Broker命令解析整个命令的作用如何修改和使用总结5.注意事项启动报错内存不足报错修改RocketMQ的存储路径二、Linux中的安装1.创
1.compaction任务的开启1.1.机制rocksdb最常用的compaction方式是Leveled Compaction，首先介绍一下Leveled Compaction。参考https://github.com/facebook/rocksdb/wiki/Leveled-Compaction数据库的数据存放在sst文件中，sst文件有多个，会分到不同的level(L0,L1,L2…)中
转载
2023-12-04 10:13:17
127阅读
对于裸机来说，先得安装C++的编译工具yum -y install gcc gcc-c++下载cmakewget https://cmake.org/files/v3.9/cmake-3.9.2.tar.gz
tar -xzvf cmake-3.9.2.tar.gz
cd cmake-3.9.2
./configure
make && make make install安装gfla
转载
2021-01-28 19:12:44
888阅读
2评论
c++，rocksdb，后端，键值存储前言第一次写博客^_^系统是全新的Ubuntu20.04，什么都没有，一切从头开始安装查看gcc和g++版本sudo apt-get update
gcc --version
g++ --version注意这里是俩杠。4.7以上不用更新，下面代表正常，第二行是版本号。没有的话安装：sudo apt install build-essential安装必要的一些库
转载
2021-01-16 10:06:07
2075阅读
2评论
目录1. 整体架构 文件类型 文件组织结构2. Flush3. Compaction4. Write Stall RocksDB是facebook开发的一款高性能的kv数据库，源自于LevelDB，并且
转载
2023-07-28 09:41:53
387阅读
使用TerarkDB提升MyRocks的性能——随机读场景下的 MySQL性能优化雷鹏 peng@CTO大纲l MyRocks简介l 为什么选择 MyRocksl 传统数据库的块压缩l 硬件的发展趋势l TerarkDB 和 MyRocks 的关系l TerarkDB 的原理、优势、劣势l 新的问题，以及优化建议MyRocks简介l MyRocks=MySQL+RocksDB(存储引擎)l 基于
转载
2024-05-28 09:48:46
54阅读
1. RocksDB介绍RocksDB是使用C++编写的嵌入式kv存储引擎，其键值均允许使用二进制流。由Facebook基于levelDB开发， 提供向后兼容的levelDB API。RocksDB针对Flash存储进行优化，延迟极小。RocksDB将最大限度的发挥闪存和RAM的高度率读写性能。RocksDB使用LSM存储引擎，纯C++编写。Java版本RocksJava正在开发中。参见Rocks
转载
2023-11-17 15:33:13
201阅读
最近在做数据中台资产管理系统，主要核心功能是数据资产发布成api或者文档，客户通过api直接获取发布的数据资产。需要一下一下几点功能：1 界面sql编辑数据产品2. 自动发布数据产品到api调研后一段时间主要技术有Rocket-api和Dataway(hasor) https://www.hasor.net/doc/display/dataway简介："Rocke
转载
2023-11-12 15:17:57
232阅读
rocksdb基础：LevelDB是由Google开源的，基于LSM Tree的单机KV数据库，其特点是高效，代码简洁而优美。RocksDB则是Facebook基于LevelDB改造的，属于嵌入式数据库，没有网络交互接口，必须和服务部署在同一台服务器高性能：RocksDB使用日志结构的数据库引擎，完全用C++编写，以获得最大的性能，键和值是任意大小的字节流为快速存储而优化：RocksDB针对快速、
转载
2024-01-30 02:44:02
105阅读
下图是RocksDB的工作流程，一共进行三个步骤，①将数据写入内存中的活跃表 Active MenTable②将活跃表转化成只读表 ReadOnlyMemTable③将只读表flush到本地磁盘上 LocalDish 具体调优方法①增大整块缓存，减小刷写的频率。该块内存为flink的管理内存，默认为全部内存的0.4倍，可以根据使用情况调大。②增大block缓存&n
转载
2024-07-31 19:39:04
82阅读
安装 系统为：Ubuntu18.04 Dependencies： sudo apt-get install libgflags-dev \ libsnappy-dev \ zlib1g-dev \ libbz2-dev \ liblz4-dev \ libzstd-dev 参考文档 使用 creat ...
转载
2021-07-22 00:39:00
1402阅读
2评论
首先要安装gcc 7.3以上版本，依赖于c++ 17.参见gcc 7安装及4.8.5和7.5并存。 需要rpm方式或源码安装gflags 2.2，否则系统可
原创
2024-08-12 11:23:44
512阅读
1、架构Rocksdb中引入了ColumnFamily(列族, CF)的概念，所谓列族也就是一系列kv组成的数据集。所有的读写操作都需要先指定列族。写操作先预写日志（Write-Ahead Logging(WAL)），再写memtable，memtable达到一定阈值后切换为Immutable Memtable，只能读不能写。后台Flush线程负责按照时间顺序将Immutable Memtable
转载
2023-09-02 07:39:33
433阅读
目录1 介绍 21.1 文件介绍： 22 架构 33 特性 43.1 Get，Interator(迭代器)和快照 43.2 前缀迭代器 53.3 更新 53.4 持久化 53.5 ReadOnly 模式 63.6 数据库调试日志 63.7 事务日志 63.8 Memtable 管道 63.9 合并 Merge 操作 73.9.1 合并条件 74 工具 85 应用 95.1 初始化 95.2 使用
转载
2024-01-21 00:28:51
71阅读
因为使用到了MyRocks存储引擎，需要了解下下RocksDB，发现国内介绍的不详细就自己来写一遍吧。概述：
RocksDB 是针对KV数据存储的高性能嵌入式数据库，由Facebook的Dhruba Borthakur于2012年4月创建的LevelDB的分支，最初的
目标是提高服务工作负载的性能。
RocksDB针对多核CPU、高效快速存储（SSD)、I/O bound workload做
转载
2023-12-07 10:47:00
211阅读
前言rocksdb有多种compaction策略，默认的compaction策略应该为leveled compaction，我们本次分析leveled compaction机制。本次分析主要涉及到几个问题：compaction何时被触发compaction具体流程compaction如何与mvcc机制联动前置知识一个库的SST文件有多个每个SST文件都属于某一层 除了第0层的SST文件，
转载
2024-01-22 00:26:00
275阅读
1、安装依赖yum -y install lrzsz git gcc gcc-c++ lz4-devel2、下载cmake
原创
2019-11-22 11:57:44
10000+阅读
2评论
【前言】了解一个组件的最好方式是先使用该组件，今天我们就来聊聊如何通过java api对iceberg进行操作。为什么是选择api进行介绍，而不是更通用的flink、spark、hive等。一方面是觉得flink、spark使用iceberg的介绍网上已经有很多，官网的介绍也比较清晰，而java api的介绍则相对少些；另一方面，不管是flink，spark最终都还是调用这些基本的api完成相关的
转载
2024-05-15 10:09:01
91阅读
文章目录1、RocksDB 摘要1.1、RocksDB 特点1.2、基本接口1.3、编译2、LSM - Tree2.1、Memtable2.2、WAL2.3、SST2.4、BlockCache3、读写流程3.1、读取流程3.2、写入流程4、LSM-Tree 放大问题4.1、放大问题4.2、compaction RocksDB 是 Facebook 针对高性能磁盘开发开源的嵌入式持久化存储系统，
转载
2024-01-03 13:30:36
239阅读
RocksDB是FaceBook起初作为实验性质开发的一个高效数据库软件，旨在充分实现快存上存储数据的服务能力。RocksDB的主要设计点是在快存和高服务压力下性能表现优越，支持point lookup 和 range scan。RockesDB 是一个嵌入式的K-V（任意字节流）存储, 支持Get(key)、Put（Key
转载
2024-01-08 17:08:00
261阅读
