whatisJ2EE的博客_Elasticsearch系列,Ceph

SpringMVC日期格式属性自动转成时间戳实现源码分析

背景介绍SpringMVC搭建的微服务系统，后端数据库对时间类型的存储使用的是Long类型，而前端框架倾向于使用yyyy-MM-ddHH:mm:ss这种标准显示格式，前端JSON格式的请求报文与后台的接口交互都需要进行格式转换，这部分转换功能由后台实现。使用时我们发现，前端定义的JSON请求，时间格式为yyyy-MM-ddHH:mm:ss，如果后台定义的POJO相应的属性为Long类型，可以自动转

springmvc

时间戳

置顶原创 2020-08-11 08:05:59 899 阅读

spring-cloud-gateway聚合swagger文档

需求背景springcloud搭建微服务系统，每个业务模块使用swagger开放文档接口查询，在业务网关模块提供swagger文档聚合查询接口，可以通过选择业务模块分类查看。框架选型、版本及主要功能springboot2.1.6.RELEASEspringcloudGreenwich.SR3springcloudgateway2.1.3.RELEASE网关组件knife4j2.0.1增强swagg

gateway

swagger

置顶原创 2020-08-09 08:34:28 1370 阅读

基于SpringCloud的enum枚举值国际化处理实践

背景选用SpringCloud框架搭建微服务做业务后台应用时，会涉及到大量的业务状态值定义，一般常规做法是：持久层（数据库）存储int类型的值后台系统里用阅读性好一点儿的常量将int类型的值做一层映射前端(app或浏览器)同样定义一套常量去映射这些关系前端调用后台系统的接口时，使用常量定义的int类型进行提交源于持久层存储的优化规则，int类型要比varchar类型效率高很多，这套做法也是大家接受

springcloud

enum

i18n

置顶原创 2020-07-31 21:55:50 1432 阅读

Elasticsearch系列---聚合查询(二)

概要近似聚合算法上一篇我们演练的聚合算法，在Elasticsearch分布式场景下，其实是有略微区别的，简单来说我们可以把这些聚合算法分成两类，易并行算法和不易并行算法。易并行算法比如max，min，就是多个node或shard可以单独并行计算，并且可以随着机器数的线性增长而横向扩展，没有任何协调操作，得到的结果返回给CoordinateNode时的数据量已经非常小了，像max或min，只需返回给

elasticsearch

聚合查询

置顶原创 2020-07-16 07:36:05 665 阅读

源码剖析@ApiImplicitParam对@RequestParam的required属性的侵入性

问题起源使用SpringCloud构建项目时，使用Swagger生成相应的接口文档是推荐的选项，Swagger能够提供页面访问，直接在网页上调试后端系统的接口，非常方便。最近却遇到了一个有点困惑的问题，演示接口示例如下（原有功能接口带有业务实现逻辑，这里简化了接口）：/***@description:演示类*@author:HuangYing**/@Api(tags="演示类")@RestCont

springcloud

swagger

置顶原创 2020-07-09 07:35:20 698 阅读

Elasticsearch系列---聚合查询(一)

聚合查询，例如求最大值，最小值，平均值等常见场景

elasticsearch

es

聚合查询

置顶原创 2020-06-29 07:15:37 919 阅读

Elasticsearch系列---使用中文分词器

本篇对中文分词器IK作了简单的讲解，市面上流行的中文分词器很多，如果我们遇到有中文分词的需求，货比三家是永远不过时的道理，调研可能要花费一些时间，但能挑到适合自己项目的分词器，还是划算的

elasticsearch

中文分词器

置顶原创 2020-06-11 08:07:32 2225 阅读

Elasticsearch系列---前缀搜索和模糊搜索

本篇介绍了前缀搜索，通配符搜索和正则搜索的基本玩法，对前缀搜索的性能影响和控制手段做了简单讲解，ngram在索引时局部搜索和搜索提示是非常经典的做法，最后顺带介绍了一下模糊搜索的常规用法，可以了解一下

elasticsearch

前缀搜索

模糊搜索

置顶原创 2020-06-09 08:10:49 913 阅读

Elasticsearch系列---近似匹配

本篇主要介绍近似匹配的常规玩法，以及rescoring优化性能的思路

elasticsearch

近似匹配

置顶原创 2020-06-03 07:10:15 487 阅读

Elasticsearch系列---深入全文搜索

elasticsearhc

全文检索

置顶原创 2020-06-02 07:38:09 648 阅读

Elasticsearch系列---结构化搜索

结构化搜索针对日期、时间、数字等结构化数据的搜索，它们有自己的格式，我们可以对它们进行范围，比较大小等逻辑操作，并引入实战案例进行演示，最后介绍了filter的过滤原理及缓存处理机制。

elasticsearch

结构化搜索

置顶原创 2020-06-01 07:34:49 608 阅读

Elasticsearch系列---shard内部原理

本篇主要介绍shard内部的原理，包含写入、更新删除，translog机制，segment合并等，了解数据库的童鞋对translog机制应该非常熟悉，原理上大同小异，仅作抛砖引玉，谢谢

elasticsearch

shard

置顶原创 2020-05-29 06:47:04 688 阅读

Elasticsearch系列---实战零停机重建索引

本篇介绍了零停机索引重建操作的三个方案，从自研功能、scroll+bulk到reindex，我们作为Elasticsearch的使用者，三个方案的参与度是逐渐弱化的，但稳定性却是逐渐上升的，我们需要清楚地去了解各个方案的优劣，适宜的场景，然后根据实际的情况去权衡，哪个方案更适合我们的业务模型，仅供参考。

elasticsearch

reindex

零停机

置顶原创精选 2020-05-28 07:33:55 2715 阅读 1点赞

Elasticsearch系列---索引管理

概要Elasticsearch让索引创建变得非常简单，只要索引一条新的数据，索引会自动创建出来，但随着数据量的增加，我们开始有了索引优化和搜索优化的需求之后，就会发现自动创建的索引在某些方面不能非常完美的适应我们的需求，我们开始考虑手动创建适合我们业务需求的索引。索引的CRUD为了更好地贴切我们的业务数据需求，我们开始更精细的管理我们的索引。创建索引创建索引的语法示例如下：PUT/music{"s

elasticsearch

索引

置顶原创 2020-05-27 07:20:09 486 阅读

Elasticsearch系列---搜索执行过程及scroll游标查询

概要本篇主要介绍一下分布式环境中搜索的两阶段执行过程。两阶段搜索过程回顾我们之前的CRUD操作，因为只对单个文档进行处理，文档的唯一性很容易确定，并且很容易知道是此文档在哪个node，哪个shard中。但搜索比CRUD复杂，符合搜索条件的文档，可能散落在各个node、各个shard中，我们需要找到匹配的文档，并且把从各个node，各个shard返回的结果进行汇总、排序，组成一个最终的结果排序列表，

elasticsearch

scroll

置顶原创 2020-05-26 08:13:58 991 阅读

Elasticsearch系列---相关性评分算法及正排索引

elasticsearch

Elasticsearch系列---实战搜索语法

本篇介绍Query DSL的语法及基础实战内容，顺带点了一下filter与query的区别，面对复杂查询语句时，建议先用验证工具进行排查，最后介绍了一下排序方面的知识，基础语法、上机案例多实践即可

elasticsearch

Query DSL

实战

置顶原创 2020-05-21 07:51:37 483 阅读

Elasticsearch系列---定制mapping

继续介绍mapping信息，重点倾向于自定义mapping、自定义对象以及数组集合类的底层结构

elasticsearch

mapping

置顶原创 2020-05-15 07:07:45 3292 阅读

Elasticsearch系列---初识mapping

简单介绍一下field数据类型mapping的相关知识

elasticsearch

mapping

置顶原创 2020-05-14 06:47:55 681 阅读

Elasticsearch系列---倒排索引原理与分词器

倒排索引的基本原理以及ES常用的几种分词器介绍

倒排索引分词

分词器

置顶原创 2020-05-13 06:47:38 566 阅读

Elasticsearch系列---搜索分页和deep paging问题

本篇从介绍搜索分页为起点，简单阐述分页式数据搜索与原有集中式数据搜索思维方式的差异，就分页问题对deep paging问题的现象进行分析，最后介绍分页式系统top N的案例

elasticsearch

分布式查询

top n

置顶原创 2020-04-22 07:04:11 599 阅读

Elasticsearch系列---初识搜索

介绍搜索的报文结构含义、搜索超时时间的处理过程，提及了一下多索引搜索和轻量搜索，最后将精确搜索与全文搜索做了简单的对比

elasticsearch

搜索

置顶原创 2020-04-20 06:48:03 353 阅读

Elasticsearch系列---补充几个知识点

从性能优先的角度简单对bulk的设计作了一些补充，并对文档查询，写操作的原理过程，一致性级别，quorum的计算做了一些简单讲解

elasticsearch

置顶原创 2020-04-18 08:40:41 533 阅读

Elasticsearch系列---增量更新原理及优势

主要介绍增量更新(partial update，也叫局部更新)的核心原理，介绍6.3.1版本的Elasticsearch脚本使用实例和增量更新的优势

elasticsearch

增量更新

置顶原创 2020-04-13 07:03:08 1085 阅读

Elasticsearch系列---并发控制及乐观锁实现原理

介绍一下Elasticsearch的并发控制和乐观锁的实现原理，列举常见的电商场景，关系型数据库的并发控制、ES的并发控制实践

elasticsearch

分布式

并发

乐观锁

置顶原创 2020-04-11 07:21:36 1630 阅读

Elasticsearch系列---分布式架构机制讲解

本篇主要介绍Elasticsearch的数据索引时的分片机制，集群发现机制，primary shard与replica shard是如何分工合作的，如何对集群扩容，以及集群的容错机制

elasticsearch

分布式架构

置顶原创 2020-04-03 07:26:13 629 阅读

学一点Ceph知识：初识Ceph

Ceph是什么？Ceph是一个开源的分布式存储系统，可大规模扩展、高性能、无单点故障，在普通的服务器上可以支持到PB级容量，商用机器上支持的容量可以达到EB级别。Ceph的竞争力市面上提供云存储的分布式系统如阿里云的OSS（底层存储框架为JindoFS），亚马逊的S3，Hadoop生态下的HDFS，OpenStack内的Swift，都是非常优秀、流行的存储解决方案，Ceph作为同类产品，仍然不逊色

数据

对象存储

服务器

原创 2022-09-30 10:53:39 124 阅读

SpringMVC Json自定义序列化和反序列化

需求背景需求一：SpringMVC构建的微服务系统，数据库对日期的存储是Long类型的时间戳，前端之前是默认使用Long类型时间，现在前端框架改动，要求后端响应数据时，Long类型的时间自动变成标准时间格式（yyyy-MM-ddHH:mm:ss）。涉及到这个转换的范围挺大，所有的实体表都有创建时间createTime和修改时间updateTime，目前的主要诉求也是针对这两个字段，并且在实体详情数

springcloud

json

原创 2021-01-28 10:54:13 1460 阅读

Elasticsearch系列---全面了解Document

概要本篇主要介绍一下document的知识，对document的元数据和基本的语法进行讲解

elasticsearch

原创 2020-04-10 07:27:25 518 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

黄鹰的博客

SpringMVC日期格式属性自动转成时间戳实现源码分析

spring-cloud-gateway聚合swagger文档

基于SpringCloud的enum枚举值国际化处理实践

Elasticsearch系列---聚合查询(二)

源码剖析@ApiImplicitParam对@RequestParam的required属性的侵入性

Elasticsearch系列---聚合查询(一)

Elasticsearch系列---使用中文分词器

Elasticsearch系列---前缀搜索和模糊搜索

Elasticsearch系列---近似匹配

Elasticsearch系列---深入全文搜索

Elasticsearch系列---结构化搜索

Elasticsearch系列---shard内部原理

Elasticsearch系列---实战零停机重建索引

Elasticsearch系列---索引管理

Elasticsearch系列---搜索执行过程及scroll游标查询

Elasticsearch系列---相关性评分算法及正排索引

Elasticsearch系列---实战搜索语法

Elasticsearch系列---定制mapping

Elasticsearch系列---初识mapping

Elasticsearch系列---倒排索引原理与分词器

Elasticsearch系列---搜索分页和deep paging问题

Elasticsearch系列---初识搜索

Elasticsearch系列---补充几个知识点

Elasticsearch系列---增量更新原理及优势

Elasticsearch系列---并发控制及乐观锁实现原理

Elasticsearch系列---分布式架构机制讲解

学一点Ceph知识：初识Ceph

SpringMVC Json自定义序列化和反序列化

Elasticsearch系列---全面了解Document