ES date 格式化 es存储时间格式

转载

技术极客领袖 2024-03-25 20:44:24

文章标签 ES date 格式化 elasticsearch 大数据搜索引擎字符串 文章分类 架构后端开发

1. 概述

1.1 Date 数据类型

Elasticsearch 数据是以 json格式存储的，而 json中是并没有 date 数据类型，因此 Elasticsearch 中虽然有 date 类型，但在展示时却要转化成另外的格式。

date 类型在 Elasticsearch 展示的格式有下面几种：

将日期时间格式化后的字符串，如 "2015-01-01" 或者 "2015/01/01 12:10:30"
long 型的整数，意义是 milliseconds-since-the-epoch，翻译一下就是自 1970-01-01 00:00:00 UTC 以来经过的毫秒数。
int 型的整数，意义是 seconds-since-the-epoch, 是指自 1970-01-01 00:00:00 UTC 以来经过的秒数。

UTC

UTC(Universal Time Coordinated) 叫做世界统一时间，中国大陆和 UTC 的时差是 + 8 ,也就是 UTC+8。

不论 date 是什么展示格式，在 Elasticsearch 内部存储时都是转换成 UTC，并且把时区也会计算进去，从而得到 milliseconds-since-the-epoch 并作为存储的格式。

日期查询

在es内部，date被转为UTC，并被存储为一个长整型数字，代表从1970年1月1号0点到现在的毫秒数

date类型字段上的查询会在内部被转为对long型值的范围查询，查询的结果类型是字符串。

假如插入的时候，值是"2018-01-01"，则返回"2018-01-01"
假如插入的时候，值是"2018-01-01 12:00:00"，则返回"2018-01-01 12:00:00"
假如插入的时候，值是1514736000000，则返回"1514736000000"。(进去是long型，出来是String型)

在查询日期时，会执行下面的过程：

转换成 long 整形格式的范围(range) 查询
得到聚合的结果
将结果中的 date 类型（long 整型数据）根据 date format 字段转换回对应的展示格式

date的默认格式

date格式可以在put mapping的时候用 format 参数指定，如果不指定的话，则启用默认格式，是"strict_date_optional_time||epoch_millis"。这表明只接受符合"strict_date_optional_time"格式的字符串值，或者long型数字。

strict_date_optional_time是date_optional_time的严格级别，这个严格指的是年份、月份、天必须分别以4位、2位、2位表示，不足两位的话第一位需用0补齐。不满足这个格式的日期字符串是放不进es中的。

date-opt-time = date-element ['T' [time-element] [offset]]
date-element = std-date-element | ord-date-element | week-date-element
std-date-element = yyyy ['-' MM ['-' dd]]
ord-date-element = yyyy ['-' DDD]
week-date-element = xxxx '-W' ww ['-' e]
time-element = HH [minute-element] | [fraction]
minute-element = ':' mm [second-element] | [fraction]
second-element = ':' ss [fraction]
fraction = ('.' | ',') digit+

实测，仅支持如下格式：

“yyyy-MM-dd”
“yyyyMMdd”
“yyyyMMddHHmmss”
“yyyy-MM-ddTHH:mm:ss”
“yyyy-MM-ddTHH:mm:ss.SSS”
“yyyy-MM-ddTHH:mm:ss.SSSZ”，

不支持常用的"yyyy-MM-dd HH:mm:ss"等格式。

注意：
“T"和"Z"是固定的字符，在获取"yyyy-MM-ddTHH:mm:ss”、“yyyy-MM-ddTHH:mm:ss.SSS”、"yyyy-MM-ddTHH:mm:ss.SSSZ"格式字符串值时，不能直接以前面格式格式化date，而是需要多次格式化date并且拼接得到。

epoch_millis约束值必须大于等于Long.MIN_VALUE，小于等于Long.MAX_VALUE

date类型字段除了type参数必须指定为date外，还有一个常用的参数 format 。可以通过该参数来显式指定es接受的date格式，如果有多个的话，多个date格式需用||分隔。之后index/create/update操作时，将依次匹配，如果匹配到合适的格式，则会操作成功，并且查询时，该文档该字段也会以该格式展示。否则，操作不成功。如

PUT my_index
{
  "mappings": {
    "_doc": {
      "properties": {
        "updated_date": {
          "type":   "date",
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        }
      }
    }
  }
}