HashMap简介HashMap是基于哈希表和链表实现的,里面的每一个元素都是键值对的形式,通过单链表的形式解决键冲突问题,超过阀值自动扩容。HashMap的size最好是2的倍数,默认大小是16,默认加载因子是0.75 运行环境OS:Win7 64bitidea:IntelliJ IDEA 2017jdkVersion:1.7.0_79 64 bit使用的pom.xml:无源码分析public             
                
         
            
            
            
            ElasticSearch(ES)倒排索引原理Elasticsearch(ES)使用称为倒排索引的结构达到快速全文搜索的目的一个倒排索引由文档中所有不重复词的列表构成对于其中每个词,有一个包含它的文档列表倒排索引建立的是分词(Term)和文档(Document)之间的映射关系,在倒排索引中,数据是面向词(Term)而不是面向文档的例如,假设我们有两个文档,每个文档的content域包含如下内容:文            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-22 20:42:43
                            
                                43阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            目录索引树形数据索引非扁平数据索引关系型数据使用嵌套对象评分与嵌套查询使用主从关系索引树形数据使用path_analyzer分析树形数据字段索引非扁平数据数据如下:{
    "book":{
        "author":{
            "name":{
                "firstName":"Fyodor",
                "lastName            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-28 10:38:21
                            
                                111阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Elasticsearch 是一个兼有搜索引擎和NoSQL数据库功能的开源系统,基于Java/Lucene构建,可以用于全文搜索,结构化搜索以及近实时分析。说明:  Lucene:只是一个框架,要充分利用它的功能,需要使用JAVA,并且在程序中集成Lucene,学习成本高,Lucene确实非常复杂。  Elasticsearch 是 面向文档型数据库,这意味着它存储的是整个对象或者 文档,它不但会            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-21 08:59:15
                            
                                48阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            索引文件结构本身的容量很有限,它引入了一种扩展机制,可以很方便的把文件的容量扩大很多倍。一般的索引文件结构是有13个节点,编号从0到12号(如果考试不是13个节点,也会说明分布情况),这个例子分成四部分:直接索引、一级间接索引、二级间接索引、三级间接索引。比方说,一个物理盘块是4k大小。假设13个块都是直接索引,那么这个文件最大容量是4k*13=52k。可以容纳的空间太小。索引文件结构分布索引结点            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-21 10:52:43
                            
                                50阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            如果logstash需要读取数据库,首先需要下载对应的Mysql数据库驱动包mysql-connector-java-5.1.46.jar可以查看mysql-connector-java驱动包与mysql数据库版本的对应关系根据实际使用的数据库版本找到自己所需要的Mysql数据库驱动包,maven仓库下载对应的驱动包地址https://repo1.maven.org/maven2/mysql/my            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-03 04:34:54
                            
                                70阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            搜索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持,极大地提高了索引和搜索的性能,极大地提高了水平扩展能力;副本技术为数据提供冗余,部分机器故障不影响系统的正常使用,保证了系统的持续高可用。 有2个分片和3份副本的索引结构如下所示:    一个完整的索引被切分为0和1两个独            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-05-07 15:07:12
                            
                                53阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            禁用字段类型猜测  创建索引blog, 插入文档后新增document, 增加字段endPUT /blog
{
  "mappings":{
    "article":{
      "dynamic":"false",
      "properties": {
         "id":{"type": "text"},
         "content":{"type": "text"            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-28 21:52:48
                            
                                78阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            前言创建索引的时候,我们通过Mapping 映射定义好索引的基本结构信息,接下来我们肯定需要往 ES 里面新增业务文档数据了,例如用户,日志等业务数据。新增的业务数据,我们根据 Mapping 来生成对应的倒排索引信息 。我们一直说,Elasticsearch是一个基于Apache Lucene 的开源搜索引擎。Elasticsearch的搜索高效的原因并不是像Redis那样重依赖内存的,而是通过            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-02 09:23:16
                            
                                35阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            故障现象#
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PeRa51Gj-1692860881533)(https://cdn.devopsing.site/2020/20210112231802.png)]在部署ELK的单机环境,当连接Kibana时候提示下面错误,即使重启整个服务也是提示Kibana server is not ready.{"message"            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-05 10:52:06
                            
                                49阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            对于日志或指标(metric)类时序性强的ES索引,因为数据量大,并且写入和查询大多都是近期时间内的数据。我们可以采用hot-warm-cold架构将索引数据切分成hot/warm/cold的索引。hot索引负责最新数据的读写,可使用内存存储;warm索引负责较旧数据的读取,可使用内存或SSD存储;cold索引很少被读取,可使用大容量磁盘存储。随着时间的推移,数据不断从hot索引->warm            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-18 08:52:38
                            
                                71阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            原标题:MySQL 还是 ES周末继续闲扯先问大家一个问题,在涉及到系统架构或者技术选型时,通常会面临很多选择,如果让你来做选型,你会选择什么方案,比如数据库你会选什么?我这么问其实是设有陷阱的,但凡脱离了实际业务场景谈架构都是耍流氓。开源数据库产品近10年来百花齐放,10年前还是关系型数据库的天下, 因为他们有天然优势,一通用,二保证了数据一致性,当然缺点也不少。随着互联网的高速发展,业务也随之            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-24 13:12:32
                            
                                39阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、存储先说Elasticsearch的文件存储,Elasticsearch是面向文档型数据库,一条数据在这里就是一个文档,用JSON作为文档序列化的格式,比如下面这条用户数据:{ 
"name" : "carl",
"sex" : "Male",
"age" : 18,
"birthDate": "1990/05/10",
"interests": [ "sports", "music" ]
}            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-24 21:51:12
                            
                                101阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            前言      本章讲解索引类型、文档和数据同步的相关知识方法1.概念按照之前的理解,我们索引相当于数据库服务器的一个数据库,索引类型相当于数据库的一张表,而文档相当于一行数据。这样的理解当然无可厚非,但实质上这是不建议的。ES中索引类型建议一个索引只允许有一个,这也是目前官方给出的意见,我认为这样是比较合理的,我们之后的例子都将如此。2.索引类型、文档我们尝试使用命            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-05 19:55:11
                            
                                168阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            从问题出发,这篇内容可以解决以下几个问题:一:如何开启关闭Es索引(数据库)?二:如何创建索引(数据库)结构?三:如何向已有索引(数据库)中添加类型(表)结构?四:如何向已有类型(表)中添加新字段?五:如何更改现有类型(表)中的字段类型?六:如何删除索引(数据库)?七:如何删除索引中某一个类型结构(同时删除数据以及数据结构)?八:如何删除索引中某一类型结构的全部数据而不删除类型结构?九:为什么同一            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-29 22:08:09
                            
                                89阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            目录Elasticsearch索引结构MappingSetting Elasticsearch索引结构一个Elasticsearch索引的主要结构如下:{
    "test_index": {
        "aliases": {},
        "mappings": {
            "my_type": {
                "properties": {            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-28 11:08:32
                            
                                3033阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Elasticsearch是由Shay Banon发起的一个开源搜索服务器项目,2010年2月发布。迄今,该项目已发展成为搜索和数据分析解决方案领域的主要一员,广泛应用于声名卓著或鲜为人知的搜索应用程序。此外,由于其分布式性质和实时功能,许多人把它作为文档数据库。Elasticsearch架构简单介绍如下。索引  索引(index)是Elasticsearch对逻辑数据的逻辑存储,所以它可以分为更            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-18 15:59:41
                            
                                246阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            ElasticSearch基础:从倒排索引说起,快速认知ES1 ElasticSearch认知1.1 关于搜索1.2 倒排索引1.3 Lucene1.4 ES基本概念1.5 ES集群概念2 SpringBoot集成ES3 ElasticSearch安装3.1 下载与安装3.2 修改配置3.3 配置Kibana ElasticSearch第二篇:ElasticSearch进阶:一文全览各种ES查询            
                
         
            
            
            
            倒排索引和正排索引倒排索引倒排索引,就是把一个文档中的某个字段的内容进行分词,然后将这些分词去重唯一的形成一个列表,且每个分词都会记录着它所出现在的文档id号, 这样就会大大提高我们的查询效率正排索引正排索引和倒排索引恰恰相反,它记录的是每个doc中分别都有哪些分词,并且每个分词出现的次数。 这非常有利于我们做聚合查询。 那聚合查询倒排索引不行吗?举个例子,如果需要统计“abc def” 的在全文            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-06-28 14:43:09
                            
                                30阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            MyISAM和InnoDB存储引擎索引的区别MyISAM主键索引 MyISAM引擎使用B+树作为索引结构,叶节点的data域存放的是数据记录的地址。下图是MyISAM主键索引的原理图: 辅助索引 在MyISAM中,主索引和辅助索引(Secondary key)在结构上没有任何区别,只是主索引要求key是唯一的,而辅助索引的key可以重复,如果给其它字段创建辅助索引,结构图如下 根据上面两张图,首先            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-14 06:49:36
                            
                                52阅读
                            
                                                                             
                 
                
                                
                    