前言很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样
转载
2022-10-09 06:01:42
2442阅读
相似度算法 涉及到了ES的底层，首先讲一下ES的底层核心，相似度模型，ES的查询和传统的数据库查询最大的差别就在相似度查询（之前讲过，索引存储的最大差别就是讲非结构化数据转化为结构化），ES里面会给文档的相似度打分。那么这种打分的算法就是ES的查询的核心，默认的算法是TF/IDF，除了这个默认的算法之外还有很多其他的算法，罗列一下，当你发现现在的查询速度以及效率不满足需要的时候，可以考虑一下下面的...
转载
2018-09-01 11:46:00
150阅读
2评论
1 前言本章目标：了解构成MySQL数据库和InnoDB存储引擎的各种类型的文件。理解InnoDB存储引擎的内存结构和磁盘结构。2 文件MySQL数据库和InnoDB存储引擎的文件有参数文件、日志文件、socket文件、pid文件、表结构文件、存储引擎文件。下面将会对这些文件逐一介绍。参数文件告诉MySQL实例启动时在哪里可以找到数据库文件，并且指定某些初始化参数，这些参数定义了某种内存结构的大小
转载
2023-08-28 18:18:31
74阅读
ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。一、ORC文件格式 ORC的全称是(Optimized Record Columnar)，使用ORC文件格式可以提
转载
2023-09-08 10:36:55
66阅读
常见的数据库存储引擎有MyISAM和InnoDB（这里指的是数据表级别的存储引擎）。 由于一个库中有不同的表，而不同的表可能对应着不同的存储引擎。这里纠正一个错误的概念：可能有很多人认为，如果一个数据库使用的InnoDB存储引擎，那么这个数据库中所有的表都是InnoDB的 ，其实并不是这样的。我们在设计表的时候有个选项，选项里面是可以选择存储引擎的，里面有很多不同种类的存储引擎，也就是说一个库里面
转载
2024-06-05 20:17:21
207阅读
# 如何实现OpenStack存储底层
## 流程概述
实现OpenStack存储底层涉及多个步骤和操作。下面是整个流程的概述，可以使用表格来展示每个步骤的详细信息。
| 步骤 | 操作 |
| ---- | ---- |
| 步骤1：准备环境 | 安装操作系统、配置网络 |
| 步骤2：安装OpenStack | 使用软件包管理器安装OpenStack |
| 步骤3：配置OpenStac
原创
2023-09-02 05:50:41
59阅读
(1).HashMap的概述 HashMap基于Map接口实现，元素以键值对的方式存储，并且允许使用null 建和null 值， 因为key不允许重复，因此只能有一个键为null,另外HashMap不能保证放入元素的顺序，它是无序的，和放入的顺序并不能相同。HashMap是线程不安全的。(2).HashMap的数据结构hashMap的存储原理为哈希表（hash table)，也叫散列表，是一种非
转载
2023-07-12 11:19:05
66阅读
Hbase简介 Hbase是一个分布式的、面向列的开源数据库，是Apache下hadoop项目的子项目。不同于一般的数据库，Hbase是一个非常适合于非结构化数据以及海量数据存储的数据库。本文从现行数据库存在的问题，Hbase数据库存储模型及体系结构，Hbase简单使用以及最佳实践者四个角度对Hbase数据库进行简要叙述，使大家对Hbase数据库从底层有一个清晰的认识，以方便后续的使用。目前京东
转载
2023-06-14 21:23:44
151阅读
ElasticSearch搜索底层基础原理总结！
原创
2017-12-15 16:42:45
10000+阅读
点赞
1评论
elasticsearch--倒排索引底层原理
原创
2023-05-21 21:57:40
134阅读
名词解释Document（文档）: 文档是存储在elasticsearch中的一个JSON文件，相当于关系数据库中表的一行数据。Shard（分片）：索引数据可以拆分为较小的分片，每个分片放到不同的服务器上，提高并发能力。 Lucene 中的 Lucene index 相当于 ES 的一个 shard。Segments（段）: 分片由多个segments组成，每个segments都是一个独立的倒排索
转载
2021-03-06 10:50:28
570阅读
2评论
「这是我参与11月更文挑战的第5天，活动详情查看：2021最后一次更文挑战」 一、ElasticSearch 文档分值 _score 计算底层原理 1）boolean model 根据用户的query
原创
2022-04-12 15:30:43
522阅读
从一张脑图中学习es的底层存储原理。知道都有哪些底层文件。
原创
2023-03-25 12:17:57
113阅读
目录 Redis的几种底层数据结构简单字符串链表字典跳跃表整数集合压缩列表 Redis的几种底层数据结构简单字符串Redis的字符串是自己构建的一种名为简单动态字符串（SDS）的抽象类型。 和常规c语言字符串不同SDS的定义如下：struct sdshdr{
int len; //记录buf数组中已使用字节的数量 既SDS所保存字符串长度
int free; // 记录buf
转载
2024-06-11 00:51:52
68阅读
一：什么是Hive（数据仓库）？ 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使不熟悉 Ma
转载
2023-07-05 21:24:26
300阅读
Hive 是什么? 1.Hive 是基于 Hadoop处理结构化数据的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。 2.Hive 利用 HDFS 存储数据，利用MapReduce 查询分析数据。本质是将 SQL 转换为 MapReduce 程序,比直接用 MapReduce 开发效率更高。 Hive通常是存储在关系数据库如
转载
2024-04-09 10:47:13
104阅读
一： MySQL为什么要选B+数作为底层的数据结构MySQL的底层算法有B数、红黑树、hash、B+树，为什么就选择了B+树作为数据库的底层物理结构二叉树的特点是左节点小于根节点、根节点小于右节点B树由于存在特殊情况，如左节点为空，节点全在右节点上，这样导致的结果会造成和没有索引一样，依次查找，效率很低，同时也会造成树的深度很深，IO次数太多导致查询效率很低。红黑树由于存在树的深度问题导致查数据I
转载
2023-09-04 12:42:04
79阅读
ES的安装环境最好是类Linux操作系统，本书中使用mac。从ES 7.x版本开始，其发行的
原创
2022-12-09 20:52:53
8497阅读
MongoDB是一款非常常用的面向文档型非关系数据库，主要应用在微博、博客、IM等的消息存储业务中，由于存储的数据与金融等行业比起来并不是那么重要，而且对事务也没什么要求，所以在这种场景下，MongoDB要比关系型数据库更适合，因为传统的关系型数据库的每次操作都会有ACK，而MongoDB的设计去掉了这个步骤，大大提高了存储的性能，而且MongoDB的设计考虑了设备故障经常出现的场景，所以在设计时
转载
2023-10-25 21:31:22
113阅读
Docker底层存储结构 由于aufs并未并入内核，故而目前只有Ubuntu系统上能够使用aufs作为docker的存储引擎，而其他系统上使用lvm thin provisioning（overlayfs是一个和aufs类似的union filesystem，未来有可能进入内核，但目前还没有；Lvm snapshot are useful for doing e.g. backup of a sn
原创
2015-05-27 17:41:37
288阅读
