1）Cluster：集群ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群，集群内的节点的cluster.name相同。2）Node：节点形成集群的每个服务器称为节点。ES 为分配不同的任务，定义了以下几个节点角色：Master,Data Node,Coordinating Node,Ingest No
转载
2024-06-17 12:43:45
29阅读
前言可能你经历过这些Red.。。。等等那ES的Red是神么意思？这里说的red,是指es集群的状态，一共有三种，green、red、yellow。具体含义：冷静分析从上图可知，集群red是由于有主分片不可用，这种情况一般是由于节点宕机。有什么影响呢？至少一个主分片（以及它的全部副本）都在缺失中。这意味着你在缺少数据：搜索只能返回部分数据，而分配到这个分片上的写入请求会返回一个异常。此时我们可以执行
转载
2024-03-21 22:10:22
101阅读
目录Elasticsearch时光机创建快照存储库创建快照还原快照清理：删除旧的快照监控集群状态和健康度集群健康度API索引统计API状态API节点信息API节点统计API集群状态API挂起任务API索引段APIcat APIElasticsearch时光机强大数据恢复机制创建快照存储库快照保存它创建的时间点上所有跟集群相关的数据，包括集群状态和索引的信息。至少在创建第一个快照之前，必须创建一个快
转载
2024-05-06 09:25:47
49阅读
上一篇：（四）安装elasticsearch-head 后台启动 --- Elasticsearch 集群搭建我在搞一台虚拟机，10.0.1.93 es-64-03 密码依然是 elasticsearch，配置好 ip 网络环境，yum，jdk之后。按照上面es 集群安装配置，直接启动，稍微等一会，我们在访问 head 。我们已经在配置文件里面配置了，主节点信息，在加入新的子节点，子节点会加入到集
转载
2024-02-15 20:52:23
50阅读
导语 | 腾讯云Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。文章作者：bellen，腾讯云大数据研发工程师。
一、背景某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务
转载
2024-08-29 19:41:01
105阅读
一、前言前面介绍了ElasticSearch原理和使用相关的内容，在生产环境如何比较科学的进行容量规划、部署、调优、排查问题呢，业界和官方也对相关的问题进行总结，我这边也结合自己的经验对这些使用ElasticSearch经常遇到的问题进行了总结。其中主要包括以下三大模块：部署模式容量规划与调优问题诊断二、部署模式2.1. 节点类型2.1.1. 节点分类ElasticSearch有多种类型的节点，在
转载
2024-10-22 06:59:03
43阅读
1. 由 gc 引起节点异常 问题：
因为 gc 时会使 jvm 停止工作，如果某个节点 gc 时间过长，master ping 3次（zen discovery默认 ping 失败重试 3 次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。
解决方法：
1. 优化gc，减少gc时间。
2. 调大zen di
转载
2024-03-22 19:56:35
89阅读
目录Elasticsearch常见问题1. 集群健康问题2. 性能问题3. 映射问题4. 分片问题5. 内存问题6. 硬件问题7. 配置问题8. 安全问题9. 网络问题10. 版本不兼容Elasticsearch日常使用小结【Q】离线告警，有IP已离线【Q】统计某个应用的某个索引的节点使用率【Q】测试环境两个索引关联查询, 贼慢【Q】想缩容节点, 怎么操作嘞【Q】可以存储嵌套对象吗【Q】测试环境一
转载
2024-08-13 13:32:46
69阅读
文章目录问题解放方案删除无用的索引查看有索引分片索引分片调整定期删除过期索引参考文章 问题用的是阿里云Elasticsearch，数据节点3个： 节点CPU时高时低，很不稳定解放方案内存和cpu使用率偏高的情况，可以从以下四个方面考虑：降低并发写入量、删除下无用的索引释放资源(尤其是.monitor开头的日志索引,可设置保留周期)考虑清理索引缓存， POST/索引名/_cache/clear?f
转载
2024-03-11 07:42:29
101阅读
1. 牢骚 差不多去年这个时候，因为其他项目组需要，把我拉去充壮丁部署了下elasticsearch集群，并简单封装了下客户端工具包。 心想着新掌握一门手艺也不是坏事，就深入学习了一段时间。 然后。。。。。。。
转载
2024-09-23 18:03:30
134阅读
Ceph是一种开源的分布式存储解决方案，它可以提供高可用性、可扩展性和容错能力。在部署Ceph集群时，需要考虑集群的CPU和内存要求，以确保集群的性能和稳定性。
首先，对于CPU的要求，Ceph集群的性能很大程度上取决于集群中每个节点的处理能力。通常情况下，建议在每个节点上配备多个物理核心的CPU，以提高计算能力和处理吞吐量。特别是对于承载OSD（对象存储守护进程）或MON（监控守护进程）等关键
原创
2024-03-19 09:26:10
155阅读
由于机器没这么多，所以用docker模拟真正的集群搭建。1、准备工作1-1、准备docker环境：使用yum安装docker: yum install -y docker-io安装完成后，开启docker: systemctl start docker;查看docker状态： systemctl status docker;搜索elasticsearch的镜像，如下第一个就是官方镜像 1
转载
2024-05-30 10:25:15
21阅读
variables：变量terminate：结束launches：开始（应用程序）suspend：挂起 一、debug视图概览1、常用： 1. resume如图中的状态代表程序处于等待中。如果直接点击，表示当前实现继续运行直到下一个断点。快捷键F8 2. terminate表示打断整个进程 3.表示进入当前方法，快捷键为F5。 4.表示
转载
2024-04-13 05:41:40
44阅读
一直在面阿里，从提前批投蚂蚁中间件与阿里中间件，最后阿里中间件面完了hr，但是很遗憾最后没能进，被调到了盒马。不过最终还是拿到了盒马的offer。期间还面了EMC、网易、携程（水到不行）、美团、拼多多，目前出了美团跟拼多多没有出结果，其他几家公司也都顺利拿到意向，在此回馈一波大家。面经部分出自阿里，其他几家公司有少部分补充，内容是个人整理，如有不对，还请纠正，谢谢！ 网络编程ISO模型与
1.背景在公司搭建了elk集群，集群配置如下：机器名CPU内存硬盘raid操作系统部署软件m21p22Intel® Xeon®CPUE5620@2.40GHz X16148G2Traid1centos5.8redis kibanam21p23Intel® Xeon®CPUE5-2620v2@2.10GHz X24160G7Traid1+0centos6.8logstash elasticsearc
转载
2024-05-09 16:16:37
139阅读
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》： python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件
转载
2024-08-23 15:56:00
82阅读
Kubernetes方式 top命令查看所有pod，nodes中内存，CPU使用情况 查看pod root @ master ➜ ~ kubectl top pod -n irm-server NAME CPU(cores) MEMORY(bytes) test-ecd-server-56b77d9
转载
2019-12-19 11:38:00
651阅读
2评论
如果说独立和自由是人类所向往的，那么极简和自由则是一款软件的追求。凭借着高吞吐、低延迟的优势深受众多公司青睐的分布式消息队列框架Kafka多年来却重度依赖Zookeeper才能运行，不仅处处缩手缩脚，而且给运维人员的工作带来了不少负担。在Kafka3以前，如果没有zookeeper，Kafka将无法运行管理部署两个不同的系统使得运维复杂度翻倍zookeeper的分区特性限制了Kafka的承载能力而
转载
2024-07-18 07:49:31
235阅读
记一次ES节点扩容、数据迁移实践背景之前ES集群里的数据越来越大，日增500G日志数据，需要做一波扩容。节点信息目前集群中的节点信息如下：节点CPU、MEMDISK磁盘使用率节点角色es0116C 32G2*1T71%mdies0216C 32G2*1T69%mdies0316C 32G2*1T68%mdies0416C 32G2*1T66%mdies0516C 32G2*1T67%mdies06
转载
2023-09-18 10:55:23
71阅读
# Spark 插入 Elasticsearch 集群时的内存溢出问题
## 引言
在大数据处理领域，Apache Spark 和 Elasticsearch（简称 ES）是非常流行的工具。Spark 提供了快速且通用的数据处理能力，而 Elasticsearch 则是一款强大的搜索和分析引擎。将 Spark 与 Elasticsearch 集成后，我们可以快速、高效地将数据存储到 ES 中。
原创
2024-10-03 06:18:45
42阅读
