docker 安装 ES & Kibanaversion: "3.1"
services:
elasticsearch:
image: elasticsearch:6.8.11
restart: always
container_name: elasticsearch
environment:
- cluster.name=docker-cl
转载
2024-09-06 07:11:57
42阅读
一、elasticsearch安装安装java1.8以上安装elasticsearch-rtf（https://github.com/medcl/elasticsearch-rtf）head插件和kibana的安装head：A web front end for an elastic search clusterKibana：Kibana is a window into the Elastic
使用动态模板时，如何防止子属性溢出使用动态模板时，class属性要i禁用Map结构。原因：es索引key数量默认不能超过1000。 es数据底层存储的时候是按照json结构的，Map结构的数据存储到es，key是不固定的，随着数据量的扩张，key的数量可能超过1000，此时es会抛出异常。illegal_argument_exception, reason=Limit of total field
转载
2024-06-26 15:13:34
145阅读
ES集群节点的扩容缩容案例1.在集群中添加和删除节点 当您启动Elasticsearch实例时，您正在启动一个节点。Elasticsearch集群是一组具有相同cluster.name属性的节点。当节点加入或离开集群时，集群会自动重新组织自己，以便在可用节点之间均匀地分布数据。 如果您正在运行单个Elasticsearch实例，则您拥有一个节点集群。所有主分片驻留在单个节点上。不能分配复制分片
转载
2024-06-06 16:06:48
144阅读
商业发展与职能技术部-体验保障研发组 康睿 姚再毅 李振 刘斌 王北永说明：以下全部均基于eslaticsearch 8.1 版本一.索引的定义官网文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/8.1/indices.html索引的全局认知ElasticSearchMysqlIndexTableType废弃Table废弃D
转载
2024-03-24 19:38:25
342阅读
在处理“java es限制返回数据大小”的问题时，我发现需要通过合理的备份策略、恢复流程和工具链集成来有效应对可能的灾难场景。我将记录我的整理过程，以便后续参考。
首先，针对数据存储，我建立了一个清晰的思维导图来呈现我的备份策略，它帮助我梳理出不同存储介质的优缺点：
```mermaid
mindmap
root((备份策略))
A(备份类型)
A1(完全备份)
@目录基本介绍ElasticSearch简介下载安装启动安全设置修改配置文件设置用户名和密码修改用户名和密码Logstash简介下载安装启动Kibana简介下载安装启动切换中文日志收集Elasticsearch官方用户手册：https://www.elastic.co/guide/en/elasticsearch/reference/7.15/index.htmlKibana官方用户手册：http
一、elk 实用知识点总结1、编码转换问题（主要就是中文乱码）（1）input 中的codec => plain 转码 codec => plain {
charset => "GB2312"
} 将GB2312 的文本编码，转为UTF-8 的编码（2）也可以在filebeat中实现编码的转换（推荐） filebeat.prospectors:
- inp
转载
2024-10-28 11:10:14
60阅读
一开始使用Eclipse 设置JVM参数 百度google了很多博客事实证明我使用下面的一篇介绍搞明白了 EclipseJVM参数设置 Eclipse.ini文件不好使的原因；本文介绍了eclipse修改jvm参数调优方法(2种)，分享给大家，具体如下：一般在不对eclipse进行相关设置的时候，使用eclipse总是会觉得启动好慢，用起来好卡，其实只要对eclipse的相关参数进行一些配置，就会
内存控制器使用的最大内存值。这些配置都可以动态更新。总的内存控制有以下参数：indices.breaker.total.limit：总的内存使用大小，默认为JVM堆内存大小的70%。列数据内存大小：列数据内存大小是指，在Elasticsearch系统中，系统会估计有多少数据被加载到内存中，如果估计超过这个阀值，它可以通过一个异常来防止该字段的数据加载。indices.breaker.fieldda
转载
2024-03-22 19:22:50
258阅读
一、单个大索引的缺陷如果每天亿万+的实时增量数据呢，基于以下几点原因，单个索引是无法满足要求的；1、存储大小限制维度单个分片（Shard）实际是 Lucene 的索引，单分片能存储的最大文档数是：2,147,483,519 (= Integer.MAX_VALUE - 128)。如下命令能查看全部索引的分隔分片的文档大小：GET _cat/shards
app_index
转载
2024-03-16 00:18:40
216阅读
在上一分析中已经说明了Reids的类型系统的设计原由和基本思想。t_string就是其中最为常用的类型之一，其主要是对sds字符串的的函数调用，以及和客户端（redisClient）的数据交互过程：根据客户端的操作命令（如：SET /GET/SETNX/INCR等等）传入客户端对象——>从对象的数据缓冲区中取出各命令操作参数——>检测参数——>调用底层函数对键、值执行相应命令操作
转载
2024-09-14 09:05:26
47阅读
一、ES的产生1.1 大批量数据如何检索问题：当系统数据量上了10亿条的时候，我们通常会从以下角度去考虑问题：用什么数据库好？(mysql、oracle、mongodb、hbase…)如何解决单点故障；(zk、mq)如何保证数据安全性；(热备、冷备)如何解决检索难题；(数据库代理中间件：mysql-proxy、Cobar、MaxScale等;)如何解决统计分析问题；(离线、近实时)1.2 传统数据
转载
2024-08-24 06:35:40
43阅读
想把一个项目的数据库导出来，然后倒入到自己熟悉的MySQL数据库中进行运行和调试。导出来后，发现sql文件整整有12G多大，忽然想起来，MySQL好像有个叫做容量限制的神奇特性，但是忘了上限是多少了，所以查阅资料得出了如下结果： 在老版本的 MySQL 3.22 中，MySQL的单表限大小为4GB，当时的MySQL的存储引擎还是ISAM存储引擎。但是，当出现MyISAM存储引擎之后，也就是从
转载
2023-08-16 06:15:51
131阅读
内容要点： ES5中定义了9个新的数组方法来遍历、映射、过滤、检测、简化和搜索数组。 概述：首先，大多数方法的第一个参数接收一个函数，并且对数组的每个元素（或一个元素）调用一次该函数。 如果是稀疏数组，对不存在的元素不调用传递的函数
原著：Johan Nilsson原代码下载: HighResolutionTimer.exe (404KB)本篇文章假定你熟悉 C++ 和 Win32 API 概要 从 Windows NT 里获得的时间戳（Timestamp），根据你所使用的硬件，其最大精度为 10 到 15 毫秒。但是， 有时候你需要时间标签频繁事件时，获得更高的精度更能令人满意。举个例子，如果你要
一、浏览器允许每个域名所包含的cookie数：
Microsoft指出InternetExplorer8增加cookie限制为每个域名50个，但IE7似乎也允许每个域名50个cookie。
Firefox每个域名cookie限制为50个。
Opera每个域名cookie限制为30个。
Safari/WebKit貌似没有cookie限制。但是如果cookie很多，则会使header大
转载
2011-09-15 12:42:00
283阅读
2评论
Android的数据存储之SharedPreference与文件File的基本使用Android的数据存储方式大概分为5种：文件File、网络、SharedPreference、SQLite(数据库)和内容提供者。本节介绍SharedPreference与文件File的基本使用。 1、SharedPreference的基本使用： sharedPreference是一种轻量级的数据储存方式，使用比
# 实现 MongoDB 大小限制
## 简介
在使用 MongoDB 进行开发过程中，有时候我们需要对数据库的大小进行限制。本文将介绍如何实现 MongoDB 的大小限制，以及每一步需要做什么。
## 流程
下面是实现 MongoDB 大小限制的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤一 | 创建 MongoDB 数据库 |
| 步骤二 | 创建集合 |
|
原创
2023-11-02 07:24:02
93阅读
在Kubernetes（K8S）中，对于上传文件时需要限制文件大小是一个常见的需求。在Spring Boot应用中，处理文件上传通常使用MultipartFile对象。在本文中，我将教你如何在Spring Boot应用中实现对MultipartFile文件大小的限制。
**整体流程：**
| 步骤 | 操作 | 代码示例
原创
2024-04-23 19:54:26
1059阅读
