树树是一种非线性结构树的定义有且只有一个称为根的节点有若干个互不相交的子树，这些子树本身也是一颗树深度：从根节点到最底层节点的层数称之为深度 根节点是第一层叶子节点：没有子节点的节点非终端节点：实际就是非叶子节点度 ：子节点的个数称为度树的分类一般树：任何一个节点的子节点的个数都不受限制二叉树：任意一个子节点的个数最多两个，且子节点的位置不可更改1.满二叉树：在不增加树的层数的前提下，无法再多添加
转载
2024-09-23 13:34:49
28阅读
目录HDFS 是做什么的HDFS 从何而来为什么选择 HDFS 存储数据HDFS 如何存储数据HDFS 如何读取文件HDFS 如何写入文件HDFS 副本存放策略Hadoop2.x新特性1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，
转载
2024-09-09 10:11:40
60阅读
前言记录一下单节点部署hadoop服务下载安装安装JDK1.8下载CDH的Hadoop——hadoop-2.6.0-cdh5.15.1.tar.gz，并传输到虚拟机解压安装tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C /opt/环境变量# 配置环境变量
vim /etc/profile
# HADOOP_HOME
export HADOOP_HOME=/o
转载
2024-04-10 10:32:34
49阅读
先来解释一下HDFS几个节点作用：1.NameNode节点 A.运行在单个节点服务器上作为主处理器 B.存有文件的元数据(哪个数据块在哪里，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。) C. 直接访问文件的客户端fsimage - 它是在NameNode启动时对整个文件系统的快照（文件系统镜像文件） edit logs - 它是在Name
转载
2024-05-04 19:20:18
63阅读
文章目录课程大纲（HDFS详解）学习目标：HDFS基本概念篇1.1HDFS前言1.2HDFS的概念和特性HDFS基本操作篇2.1HDFS的shell(命令行客户端)操作2.1.1 HDFS命令行客户端使用2.2 命令行客户端支持的命令参数2.3 常用命令参数介绍HDFS原理篇hdfs的工作机制3.1 概述3.2 HDFS写数据流程3.2.1 概述3.2.2 详细步骤图3.2.3 详细步骤解析3.3
本篇文章单节点安装 hdfs hive ，实乃学习大数据必备的教程，环境为：Centos7 JDK8.0 cdh5.15.1 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ hadoop版本：hadoop-2.6.0-cdh5.15.1.tar.gz hi
原创
2022-01-06 16:27:46
449阅读
服役新数据节点随着业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。准备新节点第一步：复制一台新的虚拟机出来，作为新的节点第二步： 修改mac地址以及IP地址 修改mac地址命令 ： vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址命令
转载
2024-08-29 19:06:59
8阅读
RPC(RemoteProcedureCall,远程过程调用)是一种通过网络从远程计算机上请求服务来得到计算服务或者数据服务，且不需要了解底层网络技术的协议和框架。RPC远程调用是构建在语言级别的，必须使用Socket通信完成，将现有的本地方法调用和Socket网络通信技术结合起来实现透明的远程调用过程。实现透明的远程调用重点是创建客户存根(clientstub)，存根(stub)就像代理(age
转载
2024-06-20 18:47:15
24阅读
Hadoop单节点设置目的先决条件支持平台必备软件安装软件下载准备启动Hadoop集群独立运行伪分布式操作组态设置无密码SSH执行在单个节点上的YARN全分布式运行目的本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。先决条件支持平台支持GNU / Linux作为开发和生产平台。Hadoop在
转载
2024-04-19 16:51:19
108阅读
一 配置SSH
下载ssh服务端和客户端
sudo apt-get install openssh-server openssh-client
验证是否安装成功
ssh username@192.168.30.128
按照提示输入username的密码，回车后显示以下，则成功。(此处不建议修改端口号，hadoop默认的是22,修改后启动hadoop会报异常，除非在had
转载
2013-12-13 16:11:00
140阅读
2评论
分布式文件系统就是把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。这些节点分为两类。一类叫做“主节点”(Master Node)，也叫做“名称节点”(Name Node)另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)1.HDFS总体而言，HDFS要实现以下目标： 兼容廉价的硬件设备 流数据读写 大数据集 简单的文件模型
转载
2024-03-24 11:18:52
121阅读
hdfs 如何实现退役节点快速下线（也就是退役节点上的数据块快速迁移）speed up decommission blocks removal
以下是选择复制源节点的代码代码总结：A=datanode上要复制block的Queue size与 target datanode没被选出之前待处理复制工作数之和。
1. 优先选择退役中的节点，因为其无写入请求，负载低。
2. 不会选
转载
2024-08-19 14:20:57
256阅读
标题：在单节点Kubernetes上部署HDFS的实现流程及示例代码
引言：
Kubernetes（简称K8S）是一种广泛使用的开源容器编排平台，而HDFS（Hadoop Distributed File System）则是Hadoop生态中的分布式文件系统。在Kubernetes中部署HDFS可以提供高可用的存储解决方案，本文将介绍在单节点Kubernetes上如何部署HDFS，并附带代码示例
原创
2024-01-15 13:12:48
152阅读
1、树相信大家对于二叉树的概念并不陌生，什么是树？什么是二叉树？1.1、树的定义树是一种非线性的数据结构，它是由n（n>=0）个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。上图就是一颗正常的树，而对于只有一个节点的，也可以叫做单节点树1.2、树的一些定义节点的度：一个节点含有的子树的个数，叫做该节点的度。叶节点和终端节点：度为零
转载
2023-08-21 09:25:57
340阅读
分布式文件系统HDFS分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode） 另一类叫从节点(Slave Node）或被称为数据节点（DataNode） HDFS简介 HDFS要实现以下目标：兼容廉价的硬件设
转载
2024-04-24 14:43:47
97阅读
在Zookeeper精要-standalone模式文章中我们有说到，如何安装Zookeeper，如何启动单例模式的Zookeeper实例，今天我们说一下如何部署Zookeeper的单机多节点。1. 单例模式（Standalone）的缺陷Zookeeper的单例模式的实例存在一个潜在的单点失效的风险，如果Zookeeper服务失败，整个使用该服务进行分布式调度的应用程序将会全面雪崩且停止运行，因此，
转载
2024-06-05 08:18:24
111阅读
1. 解决hdfs单点故障问题的方法HDFS HA：通过主备NameNode解决 一个集群中只能有一个NameNode处于工作状态 当主NameNode发送故障 则切换到备NameNode上（NameNode的两大功能：接收客户端的读写请求 存储元数据 ）整个集群在输入hdfs namenode -format时 产生元数据 此时hdfs集群还没有启动 主NameNode会格式化产生（初始化）fs
转载
2024-04-17 10:38:04
51阅读
3.1 分布式文件系统3.1.1 计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件构成的，这就大大降低了硬件上的开销3.1.2 分布式文件系统的结构分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节
转载
2024-02-19 10:20:55
110阅读
HDFS的结构及其作用1.知识准备分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)。分布式文件系统结构图：HDFS要实现以下目标： &nb
转载
2024-03-16 09:46:48
17阅读
文章目录1.服役新节点1.准备新节点2.服役新节点具体步骤2.退役旧数据节点 目标：掌握HDFS新添加节点到集群的步骤 1.服役新节点1.准备新节点第一步：复制一台纯净的虚拟机出来 注：纯净的虚拟机不能安装过hadoop软件，只配置过ip和JDK第二步：修改mac地址及其IP地址修改mac地址命令
vim /etc/udev/rules.d/70-persistent-net.rules
修改
转载
2024-06-22 08:45:43
26阅读
