一、Redis 概览1.1 Redis 全称是Remote Dictionary Service远程字典服务，从名称看，redis 最开始的设计思想，是一个远程的key-value 的存储服务，主要用来解决系统缓存，分布式的数据共享问题。程序员在学生阶段的课程设计往往是单实例（单体的应用），中小型公司起步的时候，往往也是从一个war 包开始，随着业务的发展慢慢的进化成分布式系统。1.2Redis定
转载
2024-09-06 10:09:23
26阅读
一 拥有数据类型RedisMongoDBMemcacheString 字符串。在 MongoDB 中，UTF-8 编码的字符串才是合法的。（一个value最大支持512MB）string 字符串。是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。仅支持简单的key-value结构的数据记录（一个value最大只支持1MB）Integer 整型数
转载
2023-08-30 09:54:42
43阅读
# RockDB架构原理解析
RockDB是一个高性能、嵌入式的键值数据库，基于Google的Bigtable和LevelDB设计。它主要用于存储大规模数据，尤其适合需要快速随机读写的场景。本文将解析RockDB的架构原理，并通过简单的代码示例进行说明。
## RockDB的基本架构
RockDB的架构主要包括以下几个组件：
1. **MemTable**：一个内存中的键值存储结构，使用跳
Coreseek 是一款中文全文检索/搜索软件，以GPLv2许可协议开源发布，基于Sphinx研发并独立发布，专攻中文搜索和信息处理领域，适用于行业/垂直搜索、论坛/站内搜索、数据库搜索、文档/文献检索、信息检索、数据挖掘等应用场景，用户可以免费下载使用； coreseek安装需要预装的软件：apt-get install make gcc g++ automake libtool mysql
1. 多线程网络IO采用epoll的机制，实现一个Redis服务端接收多个客户端的并发网络IO请求（避免有时候Redis服务端处理速度快，而网络IO传输客户端请求慢，造成Redis CPU空闲），网络IO多线程连接，处理请求的还是单线程。2. 客户端缓存Redis服务端一次读取一定数据，将这些key-value缓存在客户端，下次客户端可以直接在自己内存中获取数据（当Redis中某些缓存在客户端的k
转载
2024-06-20 15:36:46
295阅读
rocksdb是什么rocksdb是一个kv（key和value作为一条数据，一般key用于查询，value存储数据）存储引擎，常用于数据库存储数据。rocksdb的编译产物是动态库，无法直接使用，没有提供sql命令，一般需要在程序中调用rocksdb提供的api进行对数据库的读写等操作。rocksdb是以leveldb为基础开发的，都使用了LSM Tree来存储数据。rocksdb的主要设计目标
转载
2024-01-30 21:37:39
170阅读
目录1 什么是状态后端？2 状态后端分类？MemoryStateBckend注意FsStateBackend适用场景RocksDBStateBackend适用场景注意点3 RocksDB 大状态调优设置本地Rocks多目录开启增量CheckpointBlock SizeBlock Cache Size最大打开文件Cache In
转载
2024-03-18 09:38:52
235阅读
RocksDB基本介绍：嵌入式数据库RocksDB是Facebook基于LevelDB开发的一种嵌入式Key-value存储系统，该数据库能够充分利用闪存的性能，大大提升应用服务器的速度。Rocksdb. 这个开源引擎是基于 Google 的 leveldb 1.5 版本, 但据称做了许多优化, 性能相对 leveldb 有了很大的提升, 而且解决了 leveldb 主动限制写的问题.Facebo
转载
2024-01-19 13:10:46
28阅读
近期接手离职同事项目，突然遇到线上事故，Flink无法正常聚合数据生成指标. 以下是详细的排查过程：问题复现清晨，运维报告Flink数据分析模块无法正常生成指标数据. 赶紧登陆Flink所在机器，使用如下语句简单查看Job状态../bin/flink list查看输出，发现故障Job在Running状态. 因为数据分析模块运行时间较久，近期没有更新过，因此怀疑是依赖的中间件问题.问题根源定位(1)
二、实时搜索引擎架构 大数据量、高并发量情况下的搜索引擎为了保证实时性，架构设计上的两个要点： (1)索引分级 (2)dump&merge 索引分级 《深入浅出搜索架构(上篇)》介绍了搜索引擎的底层原理，在数据量非常大的情况下，为了保证倒排索引的高效检索效率，任何对数据的更新，并不会实时修改索引，一旦产生碎片，会大大降低检索效率。 既然索引数据不能实时修改，如何保证最新的网页
写#include "rocksdb/db.h"
#include "rocksdb/write_batch.h"
#include <iostream>
#include <string>
using namespace std;
int main(){
rocksdb::DB* db;
rocksdb::Options options;
options.c
原创
2023-07-24 17:59:55
118阅读
Java流程控制一、用户交互ScannerScanner类java.util.Scanner是JDK5的新特性，可以通过Scanner类来获取用户的输入。基本语法Scanner s = new Scanner(System.in);通过 Scanner 类的 next() 与 nextLine() 方法获取输入的字符串。在读取之前如需判断，使用 hasNext() 与 hasNextLine()
数据分析学习记录（三）–主成分分析及在origin中的实现注：本文仅作为自己的学习记录以备以后复习查阅一 概念主成分分析是一种数据分析的方法，尤其应用在光谱降维领域，降维是一种对高纬度特征数据的处理方法，对于存在相当大信息量的光谱数据来说，除了使用更直观的方式观察数据特征之外，降维是提升其数据处理速度和效率的一个十分有效的手段 。降维将高维数据保留下一些重要特征，去除噪声和不重要的特征，在一定的信
JVM：JAVA本身提供了垃圾回收机制来实现内存管理现今的GC（如Java和.NET）使用分代收集（generation collection），依照对象存活时间的长短使用不同的垃圾收集算法，以达到最好的收集性能。以Java为例，整个Java堆可以切割成为三个部分：Young：Eden：存放新生对象。Survivor：存放经过垃圾回收没有被清除的对象。semi-Spaces：和Survivor做C
转载
2024-05-21 13:20:26
22阅读
# Java 本地缓存与 RocksDB 性能优化指南
在现代应用程序中，性能是一个非常重要的指标，尤其是当应用需要频繁访问数据库时。RocksDB 是一个高性能的键值存储数据库，适用于需要快速读写的场景。本文将帮助刚入行的小白理解如何实现 Java 中的本地缓存与 RocksDB 的结合，并优化性能。
## 章节目录
1. 流程概述
2. 步骤详解
- 1. 添加依赖
- 2.
Java IOJava 的 I/O 大概可以分成以下几类：磁盘操作：File字节操作：InputStream 和 OutputStream字符操作：Reader 和 Writer对象操作：Serializable网络操作：Socket新的输入/输出：NIO1、磁盘操作（File）File 类可以用于表示文件和目录的信息，但是它不表示文件的内容。递归地输出一个目录下所有文件：public stati
Iterator: 迭代器，用户使用迭代器按排序顺序查询范围内的key。Point lookup: 点查询，在RocksDB中，点查找是指使用Get()读取一个键。Range lookup: 范围查找，范围查找意味着使用迭代器读取一系列键。SST File(Da
转载
2024-09-04 21:45:38
226阅读
redis集群方案比较1.哨兵模式架构 哨兵监控集群服务的各节点的健康状态，master解决写服务，down之后选举salve为主节点问题：单台redis支持5w左右的并发，无法满足大并发的业务需求master挂掉之后，在选举的过程中，不能响应写服务节点内存有限，即内存瓶颈2.高可用模式架构（redis3.0之后官方架构）redis集群是一个由多个主从节点组成的分布式服务集群，它具有复制
转载
2023-06-13 16:13:03
57阅读
redis认证redis的认证比较简单，这里简单来说明一下怎么设置redis的认证：redis的配置文件中有一个requirepass字段，在后面直接写上对应的密码即可。默认redis的不开启认证的，可以把注释去掉，然后开启认证。 requirepass foobared redis的默认的密码如上所示，然后启动redis服务。 [root@test2 redis]# redis-cli
1
转载
2024-06-02 15:33:13
41阅读
文章目录一，redis的简介二，redis架构三，redis数据持久化两种方式：RDB和AOF 一，redis的简介Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的APIredis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链
转载
2023-08-11 10:13:52
147阅读
