在了解HDFS之前，我们先来简单介绍一下Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。从中我们可以看出Hadoop其实可以大致分为两个方面：大数据和大计算。Hadoop的框架最核心的设计就是：HDFS、MapReduce和Yarn。HDFS为海量的数据提供了存储，而Map
转载
2024-06-17 06:39:19
207阅读
1. 网络配置【所有节点】修改hostname在每个节点上执行hostname [主机名]配置网络vi /etc/sysconfig/networkNETWORKING=yes
HOSTNAME=node4 #【每个节点改成相应的hostname】
NETWORKING_IPV6=no
PEERNTP=no保存退出重启网络服务service network restart配置hosts192.1
hadoop 离线 day07 HDFS文件系统的基本特性和操作1、HDFS文件系统的基本特性2、HDFS的命令行使用3、HDFS的高级使用命令3.1 hdfs的文件限额配置3.2 hdfs的安全模式4、hadoop的基准测试4.1 测试写入速度4.2 测试读取速度 1、HDFS文件系统的基本特性HDFS的特性：master/slaver架构：主从架构namenode：主节点，主要用于存储元数据
转载
2024-04-01 11:21:25
157阅读
HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个 副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略是HDFS保证可靠性和
转载
2023-07-19 15:50:48
784阅读
集群结构 1、分片：当我们的文档量很大时，由于内存和硬盘的限制，同时也为了提高ES的处理能力、容错能力及高可用能力，我们将索引分成若干分片，每个分片可以放在不同的服务器（当然也可以放到一个服务器中，可以提高效率，但是不能减少内存和硬盘空间），这样就实现了多个服务器共同对外提供索
转载
2024-03-25 22:57:26
61阅读
目录 elasticsearch常用的一些集群命令查看集群健康状态查看集群的节点列表查看所有的索引删除索引查询索引的某个文档内容更新文档删除文档自动创建索引定时删除索引 elasticsearch常用的一些集群命令查看集群健康状态get请求
/_cat/health?v
epoch timestamp cluster status node.total node.data sha
转载
2024-04-26 09:16:16
173阅读
elasticsearch集群正确关闭、重启方式问题原因：在elasticsearch集群中，当集群发现某个节点关闭时，将延迟一分钟后（默认）再开始将该节点上的分片复制到集群中的其他节点，这可能涉及很多I / O。由于该节点不久将要重新启动，因此该I / O是不必要的。您可以通过在关闭节点之前禁用副本分配来避免。正确关闭方式：第一步：禁止分片自动分布curl -X PUT "localhost:9
转载
2024-02-29 14:59:42
255阅读
Ceph文件系统是一种分布式存储系统，它能够有效地管理大量的数据并提供高可靠性和高性能。在Ceph文件系统中，文件会被分割成多个块，并在不同的存储节点上进行存储，从而实现了文件的冗余备份和高可用性。在Ceph文件系统中，文件的备份方式通常采用多副本的模式，即将文件在不同的存储节点上复制多份。
对于Ceph文件系统来说，设置多少副本是一个重要的决策。通常情况下，副本的数量越多，文件的可靠性和可用性
原创
2024-03-18 11:44:13
165阅读
1、 集群健康状态集群健康值:yellow(3of6):表示当前集群的全部主分片都正常运行，但是副本分片没有全部处在正常状 态 3个主分片正常3个副本分片都是Uassigned-它们都没有被分配到任何节点。在同 一个节点上既保存原始数据又保存副本是没有意义的，因为一旦失去了那个节点，我们也将丢失该节点 上的所有副本数据。 当前我们的集群是正常运行的，但是在硬件故障时有丢失数据的风险。2、故障转移当
转载
2024-03-30 08:48:39
213阅读
一. 完全基于pipline实现完整的代码部署流水线 流程：开发 提交代码 到gitlab -> clone代码 - > sonarqube执行代码扫描 -> 代码打包（制品）-> 制作镜像（run执行编译，add/copy宿主机上文件，expose端口，cmd启动服务）-> 镜像上传到harbor -> 拉取镜像部署到生产环境 -> send email
为什么要引入副本的放置策
转载
2023-11-21 22:44:18
51阅读
介绍ES是一种p2p（peer to peer）的分布式架构设计，集群中的每个节点都可以与其他任意节点进行通讯。这是不同于hadoop的master-slave的分布式系统。ES中也存在master角色，但是其功能主要是维护集群的元信息（cluster status），当任意node上的信息修改时，将变更信息同步到其他剩余node上。即，每个node都具有一套完整的cluster status。E
转载
2024-04-26 22:17:28
31阅读
原理问题
主分片是4 副本数是2 ，副本分片等于就是8个，所有分片等于加起来分片数是12，主分片可以写入，副本分片只可读
一个分片最大存储30G数据
elasticsearch7以上 xpack基础版本免费了，不用破解
https://www.elastic.co/cn/subscriptions 免费功能界面
集群必须强制开启tls后才能开启密码认证
参考文档
转载
2024-05-21 19:32:36
27阅读
ES集群核心概念 1）Cluster：集群 ES可以作为一个独立的单个搜索服务器。不过，为了处理大型数据集，实现容错和高可用性，ES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群，集群内的节点的cluster.name相同。 2）Node：节点 形成集群的每个服务器称为节点。 ES 为分
转载
2020-04-23 21:58:00
1161阅读
2评论
5 ES集群分片副本5.1 提高ES集群可用性如何提高 ES 集群系统的可用性；有如下两个方面；
服务可用性：
1.2个节点的情况下，允许其中1个节点停止服务；
2.多个节点的情况下，坏的节点不能超过集群一半以上；
数据可用性
1.通过副本 replication 解决，这样每个节点上都有完备的数据。
2.如下图所示，node2上是 oldxu_index 索引的一个完整副本数据。5.2
原创
精选
2023-10-14 15:25:15
1082阅读
看完什么是 Elasticsearch 以及了解到了倒排索引的概念，下面就熟悉下 ES 中常用的一些名词。
前言看完什么是 Elasticsearch 以及了解到了倒排索引的概念，下面就熟悉下 ES 中常用的一些名词。常用术语名词解释cluster一个或者多个 node 指定相同的 cluster name，则它们会组成集群，并且自动选举 master，
转载
2024-05-17 06:52:25
48阅读
CentOS 7环境下Kafka的集群安装和基本使用（多节点，分布式环境）卸载JDKCentos7一般都会带有自己的openjdk,我们一般都回用oracle的jdk,所以要卸载删除系统预装jdk，可以一条命令直接删除：#rpm -e --nodeps `rpm -qa | grep java`通过 java -version查看是否已删除CentOS安装JDK（不通过在线安装，这样可以自定义把j
Kubernetes（简称为K8s）是一种用于自动化部署、扩展和管理容器化应用程序的开源平台。在Kubernetes中，Pod是最小的可调度的对象，它由一个或多个容器组成，作为应用程序的运行实例。本文将介绍如何使用Kubernetes查看Pod的副本数。
## 流程概述
1. 连接到Kubernetes集群；
2. 使用Kubectl命令行工具查看Pod信息；
3. 解析Pod信息，获得副本数
原创
2024-01-15 13:04:25
198阅读
# Redis集群副本查看
## 1. 简介
Redis是一个开源的内存数据存储系统，常用于缓存、消息队列等场景。Redis集群是Redis实例的分布式部署，可以提供高可用性和高性能的数据访问能力。在Redis集群中，每个主节点通常都会有一个或多个副本节点，用于实现数据的冗余备份和故障切换。
本文将介绍如何通过命令行和Redis客户端查看Redis集群的副本信息。
## 2. 查看流程
原创
2023-10-13 08:24:29
145阅读
文章目录整合Springboot测试实体类创建索引（文档）更新文档查询文档删除文档数据分页文档查询高亮分页查询删除索引小结Logstash概念安装配置自定义模板中文分词不生效 整合Springboot通过虚拟机搭建ES，这里使用的版本是6.4.3，引入相应依赖<dependency>
<groupId>org.springframework.boot</group
转载
2024-03-17 18:44:00
61阅读
