word中有多种保存文档的方式。可保存当前处理的活动文档 (活动文档：正在处理的文档。在 Microsoft word 中键入的文本或插入的图形将出现在活动文档中。活动文档的标题栏是突出显示的。)，无论它是新建的还是原有的；可同时保存所有打开的文档；可用不同的文件名或在不同的位置保存活动文档的副本。如果要将文字或格式再次用于创建的其他文档，可将文档保存为 word 模板 (模板：是指一个或多个文件
转载
2024-04-13 10:29:18
36阅读
搜索的时候，要依靠倒排索引；排序的时候，需要依靠正排索引，看到每个document的每个field，然后进行排序，所谓的正排索引，其实就是doc values在建立索引的时候，一方面会建立倒排索引，以供搜索用；一方面会建立正排索引，也就是doc values，以供排序，聚合，过滤等操作使用doc values是被保存在磁盘上的，此时如果内存足够，os会自动将其缓存在内存中，性能还是会很高；如果内存
行式存储和列式存储1.从一个例子说起要理解行式存储和列式存储以及他们之间的差异首先就得理解两种存储方式在结构上的差异，举个例子，如下表所示为一张学生的学科表：idsubjectdate1计算机概论大一2数据结构大二3计算机网络大三在行式存储中，他的结构如下所示：1计算机概论大一2数据结构大二3计算机网络大三在列式存储中，他的结构如下所示：123计算机概论数据结构计算机网络大一大二大三在了解了他们的
转载
2024-07-11 14:14:38
41阅读
前言： 在Lucene4.x之后，出现一个重大的特性，就是索引支持DocValues，这对于广大的solr和elasticsearch用户，无疑来说是一个福音，这玩意的出现通过牺牲一定的磁盘空间带来的好处主要有两个： （1）节省内存 （2）对排序，分组和一些聚合操作时能够大大提升性能 下面来详细介绍下DocValue的原理和使用场景 （一）什么是DocValues？ DocValues其实是Luc
转载
2018-08-23 11:42:00
195阅读
2评论
前言： 在Lucene4.x之后，出现一个重大的特性，就是索引支持DocValues，这对于广大的solr和elasticsearch用户，无疑来说是一个福音，这玩意的出现通过牺牲一定的磁盘空间带来的好处主要有两个：
（1）节省内存
（2）对排序，分组和一些聚合操作时能够大大提升性能
下面来详细介绍下DocValue的原理和使用场景
（一）什么是DocValues？
DocValues其实是Luc
原创
2023-07-04 17:45:25
126阅读
搜索引擎的基本数据结构是反向索引，也就是为每个关键词建立了到文档的映射，然后所有的关键词是一个有序列表。搜索
原创
2022-01-04 10:37:49
123阅读
.
原创
2023-04-02 15:42:48
145阅读
写在最前：参考17079张武科同学的代码，故博文中形如详细代码设计等部分引用了张武科的博文，具体引用部分不详细标出，其他部分仍为本人原创github地址https://github.com/mrlandiao/wcPSP表格PSP2.1PSP阶段预估耗时（分钟）实际耗时（分钟）Planning计划2545· Estimate· 估计这个任务需要多少时间2535Development开发700100
转载
2024-03-27 09:52:33
101阅读
Elaticsearch 有非常好的查询性能，以及非常强大的查询语法。在一定场合下可以替代RDBMS做为OLAP的用途。但是其官方查询语法并不是SQL，而是一种Elasticsearch独创的DSL。主要是两个方面的DSL：Query DSL（https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.htm
public final class Lucene54DocValuesFormat
extends DocValuesFormatLucene 5.4 DocValues format.
Encodes the five per-document value types (Numeric,Binary,Sorted,SortedSet,SortedNumeric) with these stra
原创
2023-05-31 11:19:53
110阅读
cannot change DocValues type from SORTED_SET to NUMERIC for field "***"solr后台报错，
原创
2021-12-28 17:14:21
379阅读
Voronoi图（二）：基本概念和性质1. 基本概念2. Voronoi的性质3. 参考资料4. 免责声明 1. 基本概念这里我们着重介绍和实现关联比较大的概念和性质，其余内容有兴趣的朋友可以参考邓俊辉老师在edX上面的视频课程或教材上面的详解。同样这里给到必要观看的视频课程章节，这些内容对理解Voronoi图算法至关重要，标记有绿色√为必看章节，大家可以结合文章的内容，加深理解： 接下来，我们
转载
2024-04-08 22:45:20
63阅读
Elasticsearch简介Elasticsearch，基于lucene，隐藏复杂性，提供简单易用的restful API接口、Java API接口Elasticsearch：一个实时分布式搜索和分析引擎，它用于全文搜索、结构话搜索、分析特点可以处理PB级数据将全文检索、数据分析以及分布式技术合并操作简单，容易部署，数据量不大提供了数据库所不能提供的功能Index（索引-数据库）索引包含一堆有相
转载
2024-04-21 20:01:12
53阅读
原来的string docvalues使用utf-8编码，载入时转码花费大量时间，我们把转码实现从new String(bytes, "UTF-8")改用lucene的bytesRef.utf8ToString,降低了大约十秒的时间。想进一步优化，我们使用UTF-16LE编码，解码很easy甚至仅仅...
转载
2014-07-07 16:24:00
68阅读
2评论
Doc Values 是 Elasticsearch 中的重要功能，旨在提高排序、聚合和过滤的效率。通过列式存储，它允许 Elasticsearch 快速访问相关的字段值，而无需加载整个文档。正确地使用 Doc Values 可以显著提高查询性能，特别是在处理大规模数据时。
原创
2024-10-30 00:29:52
63阅读
什么是docValues？docValues是一种记录doc字段值的一种形式，在例如在结果排序和统计Facet查询时，需要通过docid取字段值的场景下是非常高效的。为什么要使用docValues？这种形式比老版本中利用fieldCache来实现正排查找更加高效，更加节省内存。倒排索引将字段内存切分成一个term列表，每个term都对应着一个docid列表，这样一种结构使得查询能够非常快速，因为t
转载
2023-08-03 22:51:35
219阅读
Why DocValues?The standard way that Solr builds the index is with an inverted index. This style builds a list of terms found in all the documents in the index and next to each term is a list of d
原创
2023-07-04 17:43:59
114阅读
加载如何利用索引和主存储，是一种两难的选择。选择不使用索引，只使用主存储：除非查询的字段就是主存储的排序字段，否则就需要顺序扫描整个主存储。选择使用索引，然后用找到的row id去主存储加载数据：这样会导致很多碎片化的随机读操作。（ES检索出来的一堆ID，然后根据这些ID去数据库里取东西就是碎片化的磁盘操作！）没有所谓完美的解决方案。MySQL支持索引，一般索引检索出来的行数也就是在1~100条之
转载
2023-06-02 17:31:09
69阅读
块存储典型设备：磁盘阵列，硬盘块存储主要是将裸磁盘空间整个映射给主机使用的，例如磁盘阵列里面有5块硬盘（为方便说明，假设每个硬盘1G），然后可以通过划逻辑盘、做Raid、或者LVM（逻辑卷）等种种方式逻辑划分出N个逻辑的硬盘。假设划分完的逻辑盘也是5个，每个也是1G，但是这5个1G的逻辑盘已经与原来的5个物理硬盘意义完全不同了。例如第一个逻辑硬盘A里面，可能第一个200M是来自物理硬盘1，第二个2
转载
2019-10-04 08:14:00
1462阅读
2评论
特性 / 类型倒排索引 (Inverted Index)数字 (Points)DocValues核心思想(反向映射)多维空间分割树(正向映射/列存)数据结构BKD Tree列式存储最擅长的查询文本搜索、关键词精确匹配数值/日期/地理位置的范围过滤排序、聚合、脚本访问字段值查询性能Term 越稀有越快对范围大小不敏感，对数级复杂度，非常快用于过滤时性能极差（线性扫描）不擅长的场景数值范围查询、排序、聚合文本搜索任何形式的搜索/过滤典型查询TermQuery不用于查询，用于sort和。
