工作中需要使用Hadoop环境，在三节点上搭建了一套Hadoop环境，顺便做下笔记。因为机器内存较低，没有使用CDH，为保证和线上环境一致，使用Hadoop等版本和CDH5.10的一致。
一、环境及软件准备设置ip地址，hosts，ssh免密登录，scp，sudo，关闭防火墙，yum，ntp时间同步 略。Java安装 略
转载
2023-12-27 12:57:13
60阅读
搭建HDFS高可用在搭建hdfs高可用过程中，以node1、node2和node3来搭建高可用环境，每个节点所分配的作用如表4.3所示。 由表4.3中可以看出，NameNode（NN）分别配置在node1和node2上，ZKFC配置在node1和node3上，JournalNode（JN）配置在node1、node2和node3上，ZooKeeper（ZK）配置在
转载
2023-07-12 11:41:14
413阅读
这里写自定义目录标题一. 原理分析二. 搭建HDFS高可用集群1. 环境准备2. 安装zookeeper3. zookeeper 安装包下载4.准备3个zk下创建数据存放目录5.在每个数据文件夹中准备一个myid文件6. 编辑每个data目录中myid7. 将zk配置文件zoo.cfg创建在zkdata目录中8.启动zk节点8. 查看zk角色信息9. 其他三台Hadoop机器10.配置hadoo
转载
2023-11-02 08:25:32
85阅读
高可用HDFS集群部署集群规划说明：在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是
转载
2024-04-19 14:34:32
36阅读
环境准备zookeeper：zookeeper-3.4.14hadoop：hadoop-2.8.5hbase：hbase-1.4.13master：namenode、resourcemanager，slave1：secondarynamenode、datanode，slave2：datanode一、Hadoop集群搭建1、hadoop安装包解压tar zxvf hadoop-2.8.5.tar.g
目的 本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用NFS实现NameNode共享存储 本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类型。详情请参阅HDFS架构指南。
注意：QJM或者共享存储
本指南讨论如何配置使用HDFS HA使用NFS目录在活跃的和备份的NameNode之间分享edit日志，对于如何通过QJM实现HA请参
转载
2024-08-07 18:09:50
102阅读
0 前提条件1）安装JDK 2）安装zookeeper 3）集群规划192.168.199.101(master-1)192.168.199.102(master-2)192.168.199.103(slave-1)NameNodeNameNodeJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZKZKFCZKFCResou
转载
2024-01-17 09:19:54
420阅读
已上传word Hdfs HDFS设计思想与基础概念 一、 概念： HDFS是分布式文件系统，HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集的应用程序。 应用场景是海量数据（视频、网页）的可靠性存储、数据归档（视频监控领域）。 二、 Hdfs设计目标： 1. 将硬件故障当作常态
转载
2024-03-29 10:52:17
37阅读
HDFS HA配置的完整步骤部分内容参考了这篇文章： 。其中配置文件时基于我的集群信息做的，还增加了配置中遇到的问题和解决办法。 最近了解了Hadoop后，又开始涉及Hadoop 2.0相关的知识，所以后续我会陆陆续续把2.0相关的一些知识和学习总结整理上来。 这里是QJM方式的HA配置，众所周知，HDFS HA一般是基于NFS公共存储的，这里不采用NFS。主要步骤： 1. zookeeper集
转载
2023-11-03 06:10:11
93阅读
前期工作： 1.hadoop2.x集群首先要搭建好，我这里是分布式，三台虚拟机 2.要进行时间同步（很重要），我这里用的是ntp服务一、搭建zookeeper 1.上传zookeeper安装包，并且将安装包解压到/opt/modules/目录下 2.进入zookeerper目录，创建一个data文件夹，并在data文件夹里面创建一个myid文件，在myid文件中写入数字0 命
转载
2024-02-04 09:53:55
50阅读
步骤即把压缩包放入Linux环境里 /home/hadoop/下解压3.4.9.tar.gz包tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hadoop/hadoop_home 然后配置环境变量export ZOOKEEPER_HOME=/home/hadoop/hadoop_home zookeeper-3.4.9
转载
2024-08-01 16:31:07
20阅读
学习大数据的第47天（HDFS以及Zookeeper）——HDFS的重要架构知识点以及zookeeper的安装和基本命令HDFS的知识点HDFS文件块的大小HDFS的写流程自己的话总结一下：首先客户端通过fs（类型为DistributedFileSystem）向NameNode发送请求，NameNode回应请求，继续请求上传第一个block块，NameNode回应客户端存储到哪个datanode中
转载
2023-11-01 20:48:11
45阅读
自动化failover的引入HDFS中自动化的failover故障转移需要增加两个新的组件：一个是Zookeeper quorum（仲裁），另一个是ZKFailoverController进程（简称ZKFC）。Apache Zookeeper是一个高可用的服务，对于小规模数据协调，通知客户端数据变化，监控客户端失败。自动failover的实现是基于ZK以下的作用：Failure detection
HDFS文件系统Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。本章内容：1) HDFS文件系统的特点，以及不适用的场景2) HDFS文件系统重点知识点：体系架构和数据读写流程3) 关于操作HDFS文件系统的一些基本用户命令1. HDFS特点：HDFS专
一.定义HDFS(Hadoop Distributed File System):它是一个文件系统，用于储存文件，通过目录树来定位文件。同时，它是分布式的，由很多服务器联系起来实现其功能，集群的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读入的场景，且不支持文件的修改。适合用来做数据分析，不适合做网盘应用。二.优点1.高容错性：a）：数据自动保存为多个副本。它通过增加副本的方式，提高
转载
2023-07-12 10:11:00
76阅读
大数据学习（三）zookeeper配置概述特点数据结构选举机制节点类型安装配置zookeeper解压配置启动命令行操作API操作添加pom依赖创建zookeeper客户端创建子节点判断znode是否存在 概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。（什么？你说看不懂。我也看不懂 那么往下看吧） Zookeeper从设计模式角度来理解：是一个基于观察者模
转载
2024-09-10 21:07:56
0阅读
Zookeeper是什么？Zookeeper 由 Apache Hadoop 的 Zookeeper 子项目发展而来，Google Chubby的一个开源实现。它是一个分布式应用程序协调服务，提供的功能包括：配置管理，名字服务，提供分布式同步、队列管理、集群管理等。从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据
转载
2024-09-03 16:54:29
29阅读
在Kubernetes（K8S）中使用Kafka时，通常会遇到一个问题：Kafka是否需要依赖Zookeeper。事实上，在使用Kafka时，Zookeeper是必需的，因为Kafka使用Zookeeper作为分布式协调服务来管理和维护集群的状态和元数据。
下面让我来详细解释一下在K8S中使用Kafka时需要做的步骤及相关代码示例。
### 使用Kafka需要Zookeeper的流程
| 步
原创
2024-04-29 10:46:38
245阅读
在Kubernetes中，部署Hadoop集群时通常需要使用ZooKeeper来实现协调和管理，因为Hadoop本身并不是一个分布式系统，而ZooKeeper是一个高可用性的分布式协调服务，可以帮助Hadoop集群进行领导者选举、配置管理等操作。下面我将向你介绍如何在Kubernetes中部署一个Hadoop集群并使用ZooKeeper。
首先，让我们来看一下整个流程及所需步骤：
| 步骤
原创
2024-05-07 10:55:55
115阅读
## Hadoop 需要 Zookeeper 吗？
在大数据技术的世界中，Apache Hadoop 是一个非常重要的组成部分。它提供了分布式存储和处理大规模数据集的能力。在使用 Hadoop 时，很多用户会问：Hadoop 需要 Zookeeper 吗？在这篇文章中，我们将探讨这个问题，并提供一些代码示例来帮助你理解。
### 什么是 Zookeeper？
Apache Zookeeper
