环境准备zookeeper：zookeeper-3.4.14hadoop：hadoop-2.8.5hbase：hbase-1.4.13master：namenode、resourcemanager，slave1：secondarynamenode、datanode，slave2：datanode一、Hadoop集群搭建1、hadoop安装包解压tar zxvf hadoop-2.8.5.tar.g
高可用HDFS集群部署集群规划说明：在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是
转载
2024-04-19 14:34:32
36阅读
搭建HDFS高可用在搭建hdfs高可用过程中，以node1、node2和node3来搭建高可用环境，每个节点所分配的作用如表4.3所示。 由表4.3中可以看出，NameNode（NN）分别配置在node1和node2上，ZKFC配置在node1和node3上，JournalNode（JN）配置在node1、node2和node3上，ZooKeeper（ZK）配置在
转载
2023-07-12 11:41:14
413阅读
这里写自定义目录标题一. 原理分析二. 搭建HDFS高可用集群1. 环境准备2. 安装zookeeper3. zookeeper 安装包下载4.准备3个zk下创建数据存放目录5.在每个数据文件夹中准备一个myid文件6. 编辑每个data目录中myid7. 将zk配置文件zoo.cfg创建在zkdata目录中8.启动zk节点8. 查看zk角色信息9. 其他三台Hadoop机器10.配置hadoo
转载
2023-11-02 08:25:32
85阅读
工作中需要使用Hadoop环境，在三节点上搭建了一套Hadoop环境，顺便做下笔记。因为机器内存较低，没有使用CDH，为保证和线上环境一致，使用Hadoop等版本和CDH5.10的一致。
一、环境及软件准备设置ip地址，hosts，ssh免密登录，scp，sudo，关闭防火墙，yum，ntp时间同步 略。Java安装 略
转载
2023-12-27 12:57:13
60阅读
目的 本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用NFS实现NameNode共享存储 本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类型。详情请参阅HDFS架构指南。
注意：QJM或者共享存储
本指南讨论如何配置使用HDFS HA使用NFS目录在活跃的和备份的NameNode之间分享edit日志，对于如何通过QJM实现HA请参
转载
2024-08-07 18:09:50
102阅读
HDFS文件系统Hadoop 附带了一个名为 HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。本章内容：1) HDFS文件系统的特点，以及不适用的场景2) HDFS文件系统重点知识点：体系架构和数据读写流程3) 关于操作HDFS文件系统的一些基本用户命令1. HDFS特点：HDFS专
HDFS HA配置的完整步骤部分内容参考了这篇文章： 。其中配置文件时基于我的集群信息做的，还增加了配置中遇到的问题和解决办法。 最近了解了Hadoop后，又开始涉及Hadoop 2.0相关的知识，所以后续我会陆陆续续把2.0相关的一些知识和学习总结整理上来。 这里是QJM方式的HA配置，众所周知，HDFS HA一般是基于NFS公共存储的，这里不采用NFS。主要步骤： 1. zookeeper集
转载
2023-11-03 06:10:11
93阅读
0 前提条件1）安装JDK 2）安装zookeeper 3）集群规划192.168.199.101(master-1)192.168.199.102(master-2)192.168.199.103(slave-1)NameNodeNameNodeJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZKZKFCZKFCResou
转载
2024-01-17 09:19:54
420阅读
Zookeeper的ACL权限ACL官方文档链接1. ACL的简介首先说明一下为什么需要ACL简单来说 :在通常情况下,zookeeper允许未经授权的访问,因此在安全漏洞扫描中暴漏未授权访问漏洞。这在一些监控很严的系统中是不被允许的,所以需要ACL来控制权限.接下来贴出来的截图是:实际环境中网路检测出来需要整改的zookeeper漏洞既然需要ACL来控制权限,那么Zookeeper的权限有哪些呢
转载
2024-03-27 13:18:40
233阅读
步骤即把压缩包放入Linux环境里 /home/hadoop/下解压3.4.9.tar.gz包tar -zxvf zookeeper-3.4.9.tar.gz -C /home/hadoop/hadoop_home 然后配置环境变量export ZOOKEEPER_HOME=/home/hadoop/hadoop_home zookeeper-3.4.9
转载
2024-08-01 16:31:07
20阅读
前期工作： 1.hadoop2.x集群首先要搭建好，我这里是分布式，三台虚拟机 2.要进行时间同步（很重要），我这里用的是ntp服务一、搭建zookeeper 1.上传zookeeper安装包，并且将安装包解压到/opt/modules/目录下 2.进入zookeerper目录，创建一个data文件夹，并在data文件夹里面创建一个myid文件，在myid文件中写入数字0 命
转载
2024-02-04 09:53:55
50阅读
学习大数据的第47天（HDFS以及Zookeeper）——HDFS的重要架构知识点以及zookeeper的安装和基本命令HDFS的知识点HDFS文件块的大小HDFS的写流程自己的话总结一下：首先客户端通过fs（类型为DistributedFileSystem）向NameNode发送请求，NameNode回应请求，继续请求上传第一个block块，NameNode回应客户端存储到哪个datanode中
转载
2023-11-01 20:48:11
45阅读
Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。配置管理分布式系统都有好多机器，比如我在搭建hadoop的HDFS的时候，需要在一个主机器上（Master节点）配置好HDFS需要的各种配置文件，然后通过scp命令把这些配置文件拷贝到其他节点上，这样各个机器拿到的配置信息是一致的，才能成功运行起来HDFS服务。Zookeeper提供了这样的一种服务：一种集
转载
2024-03-21 08:48:15
15阅读
已上传word Hdfs HDFS设计思想与基础概念 一、 概念： HDFS是分布式文件系统，HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集的应用程序。 应用场景是海量数据（视频、网页）的可靠性存储、数据归档（视频监控领域）。 二、 Hdfs设计目标： 1. 将硬件故障当作常态
转载
2024-03-29 10:52:17
37阅读
目录1. zookeeper搭建：2. 集群搭建2.1. 集群规划如下：2.2. node1免密配置2.3. 更新修改hadoop，yarn 配置文件2.4. scp 复制到其他节点2.5. 删除之前集群的tmp文件2.6. 启动zookeeper2.7. 启动 journalnode2.8. 格式化集群2.9. 同步第二个namenode2.10. 格式化ZK2.11.启动hdfs集群2.12
转载
2024-05-01 19:50:01
44阅读
安装基于CentOS 7 安装，系统非最小化安装，选择部分Server 服务，开发工具组。全程使用root用户，因为操作系统的权限、安全，在启动时会和使用其它用户有差别。Step 1:下载hadoop.apache.org 选择推荐的下载镜像结点； https://hadoop.apache.org/releases.html Step 2:下载JDK http://www.oracle.com/
hadoop、spark、zookeeperHadoopHDFS分布式文件系统Yarn分布式资源管理MapReduce数据处理sparkzookeeperzookeeper角色机制原子广播HBase和Hive HadoopHadoop：是一个能够在跨计算机的分布式环境中存储和处理大数据的开源框架。具有高容错、高可靠性、高扩展性的特点。可靠性体现在：1.数据的冗余 2.机架策略(通过节点之间发送一
引言最近由于科研的需要，从零开始搭建hadoop集群，包括单独的zookeeper以及hbase。对于linux、hadoop等相关的基础知识掌握比较少，所以这一系列的分享适用于各种小白，想体验hadoop集群的。同时，提出一些在搭建集群的过程中遇到的问题+解决方法。主要是针对真正的集群搭建过程，也就是Distributed。本篇主要介绍前期工作及常见问题，也算是对我最近几天的摸索进行一个总结。一
day01—————零、复习1. 大数据的概述
--概念和特征 （重点）
2. hadoop的概述
--hadoop的核心模块（重点）：三个，HDFS,Mapreduce,Yarn
--google的三篇论文（重点）：《GFS》《Mapreduce》《Bigtable》
--Hadoop的特点：
apache，开源，免费，JAVA语言，跨平台性，运行在廉价机器，具有高可靠高容错性，扩
转载
2024-10-19 09:57:37
30阅读
