【HDFS原理】Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS体系结构中有两类节点，一类是NameNode，又叫"元数据节点"；另一类是DataNode，又叫"数据节点"。这两类节点分别承担Master和Worker具体任务的执行节点。总的设计思想：分而治之——将大文件、大批量文件，分布式存放在大量独立的服务器上
转载
2024-03-15 10:12:54
21阅读
# 如何实现两个 Redis 互为从节点
在分布式系统中，实现两个 Redis 互为从节点（即主从复制）是非常有用的。这篇文章将引导你完成这个过程，提供所需的信息和代码，以及每一步的详细解读。
## 流程概述
实现两个 Redis 实例互为从节点的流程可以概述如下：
| 步骤 | 操作 |
|------|------------
原创
2024-10-25 03:30:49
20阅读
zookeeper 原理简介随笔两部分： 文件系统和通知机制。文件系统，全量数据存于内存。zk主要有2种节点类型，临时节点和持久节点。又细分为普通临时节点顺序临时节点普通持久节点顺序持久节点临时节点的生命周期和客户端一致。如果客户端会话失效，则节点会被自动销毁。 临时节点没有子节点 顺序节点中，只会为其直接子节点维持顺序二阶段提交协议分为事务询问和执行事务两个部分。事务询问：协调节点（主节点）查询
转载
2023-09-06 13:59:09
110阅读
一、核心概念1、cluster代表一个集群，集群中有多个节点，其中一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来书的，es的一个重要概念是去中心化，字面理解是无中心节点，这是对于外部来说，从外部来看es集群，在逻辑上是一个整体，你与任何一个节点通信与整个es集群通信是等价的但es内部有主节点，重要负责管理集群状态，包括管理分片的状态和副本的状态，以及节点的发现和删除只需要在
转载
2024-03-31 09:24:25
88阅读
上一篇本文我详细的分析了在HDFS的文件写操作中，客户端是如何工作的，其工作核心可总结为两点：一是向NameNode申请Block，二是向数据节点传输Block的packet。那么，数据节点是如何来接受这个数据块的呢？这个还得从数据节点的注册说起。数据接受地址就是用来接受客户端发送过来的有关数据块的操作。而这个工作统一交给DataXceiverServer来管理，这个DataXceiverServ
转载
2024-06-25 13:18:14
17阅读
一、传统架构：1. 如上图所示，hadoop1中HDFS分为：1个NameNode节点（NN,主） + 1个Second NameNode节点（SNN,主） + N个 DataNode节点（DN,从）。2. 文件写入和读取过程详见：http://computerdragon.blog.51cto.com/6235984/12876603. DN负责存储和控制数据
二叉树的概念树有很多种，而二叉树就是每个节点的度最多为2的树。说通俗一点，就是每个节点最多最多只能有两个子节点的树。
图2：图中这棵树就不是二叉树，因为有节点的度为3，大于了2
二叉树的特点每个节点最多有两棵子树，所以二叉树中不存在度大于2的节点。子节点有左右之分，左子节点衍生的树是左子树，右子节点衍生的树叫右子树。左子树和右子树是有顺序的，次序不能任意颠倒。即使树中某个节点只有
转载
2023-08-29 22:43:31
62阅读
Redis主从复制主从复制主从复制，将一台Redis服务器的数据，复制到其他Redis服务器。前者称为主（master）节点，后者称为从（slave）节点 。 在默认的情况下，Redis都是主节点，每个从节点只能有一个主节点，一个主节点可以有多个从节点。复制的数据只能从主节点复制到从节点。配置方式在从节点的配置文件中配置：slaveof {masterip} {masterport}在redis-
转载
2023-10-06 19:00:19
48阅读
# Redis两个节点的高可用架构简析
## 引言
Redis作为一种高效的内存数据存储解决方案，被广泛应用于缓存、消息队列和实时数据处理等场景。而在实际应用中，为了确保服务的高可用性，通常会采用多个节点的架构来实现数据的高持久性和高可用性。本文将通过简单的示例介绍Redis两个节点的高可用架构，同时给出代码示例，最后通过状态图帮助大家更好地理解这一架构。
## Redis高可用架构概述
基础环境 使用两台HP DL580服务器作为RAC节点，存储使用IBM V7000。具体环境如下：设备用途IP地址磁盘空间HP DL580RAC节点01RAC01-pub：116.1.1.57RAC01-priv：4.4.4.35RAC01-vip：116.1.1.59RAC02-pub：16.1.1.58RAC02-priv：4.4.4.36RAC02-vip：116.1.1.60RAC-sc
目录ZooKeeper特性Session的基本原理启动命令行操作ls命令 ls2命令stat命令get命令状态信息的含义Create命令set命令delete命令Watcher命令行watcher机制watcher简单使用watcher父节点事件类型watcher子节点事件类型watcher使用场景ACL（access control lists）权限控制ACL命令行简单使用ACL的构成
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍。基本涵盖了Hadoop分布式平台的全部技术核心。 HDFS的体系架构
整个Hadoop的体系结
转载
2017-05-21 15:27:00
49阅读
HDFS简介HDFS （全称：Hadoop Distribute File System，Hadoop 分布式文件系统）是 Hadoop 核心组成，是分布式存储服务。 分布式文件系统横跨多台计算机，在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。 HDFS是分布式文件系统中的一种HDFS的重要概念典型的Master/Slave架构： HDFS 的架构是典型的 Ma
转载
2023-08-03 20:57:58
34阅读
HDFSHDFS是在一个大规模分布式服务器集群上，对数据分片后进行并行读写及冗余存储。HDFS的关键组件有两个：DataNode，NameNode。DataNode负责文件数据的存储和读写操作，HDFS将文件数据分割成若干数据块（Block），每个DataNode存储一部分数据块，这样文件就分布存储在整个HDFS服务器集群中。应用程序客户端（Client）可以并行对这些数据块进行访问，从而使得HD
转载
2024-03-26 15:32:47
78阅读
# Redis集群故障处理
在使用Redis作为数据存储和缓存的过程中，Redis集群的高可用性是非常重要的。然而，有时候由于各种原因，Redis集群中的节点可能会出现故障。本文将介绍当Redis集群中的两个从节点挂掉导致整个集群挂掉时，如何处理和恢复。
## Redis集群简介
Redis是一种开源的内存数据库，可以用作缓存、消息队列和持久化存储。Redis集群是Redis提供的一种分布式
原创
2024-07-08 04:48:23
178阅读
积硅步 至千里学完集合这块部分，我们知道Set是一个不包含重复元素的集合Set接口: 特点: 1.没有索引值 2.不能重复 3.HashSet 无序 底层: 哈希表(数组+链表+红黑树) 4.LinkedHashSet 有序 哈希表+链表 5.TreeSet 可排序 红黑树说Set不重复原理，我觉得还是得先从Set集合的新增过程开始说起 我们先搞清楚他是如何新增的 我们从源码入手先把判断两个元素是
不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上安装Hue，我这里也不例外。安装在bigdata
转载
2024-08-13 15:57:17
35阅读
分布式文件系统HDFS分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode） 另一类叫从节点(Slave Node）或被称为数据节点（DataNode） HDFS简介 HDFS要实现以下目标：兼容廉价的硬件设
转载
2024-04-24 14:43:47
97阅读
主-从模式的模型中，主要包括三个角色：主节点：主要负责监视新的节点和任务，分配任务给可用的从节点;从节点：通过注册自己，确保主节点看到它们可以执行任务，收到主节点分配的任务后，执行并记录状态;客户端：创建新的任务并等待系统响应。1. Zookeeper节点介绍现通过ZooKeeper的API完成简单的主从协作。在此之前，需了解下ZooKeeper中节点的基本概念。节点的类型分为以下几类：
转载
2024-02-25 13:06:12
88阅读
**Java中的条件语句**
条件语句是编程中经常用到的一种语句，它能够根据不同的条件执行不同的代码块。在Java语言中，我们可以使用`if`语句来实现条件判断。`if`语句可以根据指定的条件进行判断，如果条件成立，则执行相应的代码块，否则跳过该代码块。
在某些情况下，我们需要同时判断两个条件是否都成立，即需要同时满足两个条件才能执行相应的代码块。在Java中，我们可以使用逻辑运算符来实现这一功
原创
2024-01-08 11:34:26
161阅读
