ES 是基于 Lucene 的全文检索引擎，它会对数据进行分词后保存索引，擅长管理大量的索引数据，相对于 MySQL 来说不擅长经常更新数据及关联查询。 SpringBoot的相关知识 SpringBoot的注释1NF:字段不可分; 2NF:有主键，非主键字段依赖主键; 3NF:非主键字段不能相互依赖;InnoDB 支持事务，MyISAM 不支持事务。这是 MySQL 将默认存储引擎从 MyISA
转载
2024-10-04 15:09:24
30阅读
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略,调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各个机器上的配置不同
ElasticSearch 高级查询语法Query DSL 2ElasticSearch 聚合操作聚合的分类Metric Aggregation对salary进行统计cardinate 对搜索结果去重Bucket Aggregation聚合可配置属性限定聚合范围Range & Histogram 聚合Pipeline Aggregationmin_bucketStatspercentil
转载
2024-03-19 21:51:30
222阅读
# 使用Java API在Elasticsearch中实现group by distinct
在Elasticsearch中，我们经常需要对数据进行聚合并统计不同值的数量。这就需要用到group by distinct的功能。在本文中，我们将介绍如何使用Java API在Elasticsearch中实现group by distinct。
## 什么是group by distinct？
在
原创
2024-03-08 03:27:35
59阅读
和ES的交互方式取决于你是否使用JAVA1）java api：如果你正在使用Java，在代码中你可以使用 ElasticSearch 内置的两个客户端：节点客户端（Node client）、传输客户端（Transport client）。Java客户端默认端口是9300，并且使用ES的原生传输协议和集群进行交互。2）RESTful API with JSON over HTTP：所有其他语言可以使
转载
2024-03-15 19:34:30
87阅读
IPSec是网际层实现IP分组端到端安全传输的机制，由一组安全协议组成。鉴别首部（Authentication Header，AH）和封装安全净荷（Encapsulating Security Payload，ESP）是其中两个协议，AH和ESP均实现IP分组源端鉴别和防重放攻击等功能，两者的差别是，AH只实现数据完整性检测，ESP实现数据加密和完整性检测。为了实现安全关联的动态建立过程，设计了I
转载
2024-03-17 23:09:45
38阅读
当需要对同一个字符串在多个字段中进行查询时，用bool查询在算分时会对多个查询结果的算分进行平均，而实际上有可能我们需要的是最匹配的那个字段对应的那条记录，这个时候就可以用到disjunciton max query 了。一，插入演示数据PUT dis_max_index/_bulk
{"index":{"_id":1}}
{"title":"apple key", "name":"i like
转载
2023-10-19 06:49:44
456阅读
场景：在bug关联固件的时候将bug的数据放到固件的数据下，可以根据固件数据下是否包含bug数据查询出已关联和未关联的数据。ES文档结构目录1.must查询此bug关联的固件java代码2.mustNot查询此bug未关联的固件java代码3.劫后余生 4.闲来无事must_not跟must下的多条件关系不一样4.1 es查询
转载
2023-09-22 11:01:49
198阅读
Rolling upgrade针对cluster，逐一升级每个节点，整个系统对用户可用。不支持大版本major version升级，只能在小版本升级时使用。升级中新版本的节点是不能向旧版本的节点做shard replication，所以不能长时间运行一套包含不同版本节点的cluster环境。参考：https://www.elastic.co/guide/en/elasticsea
转载
2024-03-26 15:02:09
20阅读
目录1、按照es指定字段进行去重统计2、查询指定字段为空的数据3、给已有的字段建对应的索引字段并更新数据4、查询指定日期中，指定字段至少包含一个关键字和多个关键字只包含一个的查询4、重建索引新建索引查询指定的数据重建索引查看任务执行情况 1、按照es指定字段进行去重统计说明：按照指定字段field_name进行去重统计，类似MySQL的：select count(distinct field_n
转载
2024-04-11 09:54:52
129阅读
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进
转载
2024-07-31 23:39:24
87阅读
本期学习ES DSL及其基本用法。 什么是ES DSL呢？全称Elasticsearch Query DSL。DSL又是什么呢？DSL(Domain Specific Language)，英译中的结果就是，领域特定语言。DSL指的是专注于某个应用程序领域的计算机语言，又译作领域专用语言。不
转载
2024-03-15 10:16:00
137阅读
elasticsearch初步检索基本概念开始检索_cat 查询保存文档使用 put 方式保存post 保存查询文档 get更新文档删除删除文档删除索引bulk 批量api 基本概念在使用es前需要了解如下几个名词Index 索引 Elastic 数据管理的顶层单位就叫做 Index（索引）。它是单个数据库的同义词。每个 Index （即数据库）的名字必须是小写。Type 类型 在Index(索
转载
2024-04-24 15:49:05
92阅读
一 序 本文属于极客时间Elasticsearch核心技术与实战学习笔记系列。二 分布式搜索的运行机制ES 的搜索，会分两阶段进行
第一阶段 - QUERY第二阶段 - FetchQuery - then - Fetch2.1 Query 阶段 用户发出搜索请求到 ES 节点。节点收到请求后，会以 C
# MongoDB中的Distinct功能及其使用
MongoDB是一款高性能、高可用的NoSQL数据库，它支持文档存储、集合存储以及丰富的查询功能。在MongoDB中，`distinct`命令用于找出某个字段的不同值。本文将介绍MongoDB中`distinct`功能的起源、使用方式以及示例代码。
## MongoDB中Distinct功能的起源
`distinct`功能在MongoDB的
原创
2024-07-22 04:23:50
28阅读
发现db2的group by有几个扩展，方便cube的计算- -
A：grouping sets：用来在单个sql中形成多级分组。
例：select company_id,node_id,count(customer_id) from customer group by grouping sets(company
转载
2024-05-17 05:19:25
22阅读
作者：Richard_Yi"All problems in computer science can be solved by another level of indirection.”– David J. Wheeler“计算机世界就是 trade-off 的艺术” 一、前言最近接触的几个项目都使用到了 Elasticsearch (以下简称 ES ) 来存储数据和对数据进行搜索分析，就对
转载
2024-05-12 19:49:09
51阅读
平时使用Elasticsearch的时候，偶尔会在Kibana中使用Query DSL来查询数据。每次要用到Query DSL时都基本忘光了，需要重新在回顾一遍，最近发现Elasticsearch已经支持SQL查询了（6.3版本以后），整理了下其用法，希望对大家有所帮助！简介 Elasticsearch SQL是一个X-Pack组件，它允许针对Elasticsearch实时执行类似SQL的查询。无
转载
2024-03-16 08:41:21
404阅读
最常用的ES6特性let, const, class, extends, super, arrow functions, template string, destructuring, default, rest arguments 这些是ES6最常用的几个语法，基本上学会它们，我们就可以走遍天下都不怕啦！我会用最通俗易懂的语言和例子来讲解它们，保证一看就懂，一学就会。
let,
修饰器修饰器是 ES7 提出的一个提案，用来修改类的行为。目前需要 babel 才可以使用。它最大的特点是：可以在编译期运行代码！其本质也就是在编译器执行的函数。其执行格式如下：@decorator //decorator 是修饰器名，即函数名
class A{}
//相当于
class A{}
A = decorator(A) || A;修饰器函数接受3个参数，依次是目标函数、属性名(可忽
