Hadoop分布式文件系统：架构和设计要点Ⅱ（转）
五、文件系统元数据的持久化 Namenode存储HDFS的元数据。对于任何对文件元数据产生修改的操作，Namenode都使用一个称为Editlog的事务日志记录下来。例如，在HDFS中创建一个文件，Namenode就会在Editlog中插入一条记录来表示；同样，修改文件的replicati
转载
2024-06-12 06:23:52
16阅读
文章目录前言一、服务器准备1、服务器列表二、安装包准备三、安装步骤第一步：上传解压2 配置java环境第二步：vim hadoop-env.sh第三步：在 Linux 中配置 Hadoop 环境变量第四步：验证第五步：修改hosts第六步：设置 SSH 免密码登录第七步：配置HDFS第八步：配置NameNode节点第九步：修改hostName第十步：格式化 NameNode 以及启动 HDFS
转载
2023-08-10 23:41:35
111阅读
玩linux嘛，总是得折腾的，CentOS，Ubuntu，Manjaro这类的都算友好的，不怎么折腾，要说折腾还得Archlinux。这次我们是实体机下Archlinux+Windows11。我是400多G的固态，给Archlinux留了56.6G，剩下的都给了为Windows11。一、安装Window
一、虚拟机安装与配置 注意，本文不适合小白操作，查看至少需要一点儿linux操作基础，因为其中有很多命令并没有写出来。比如使用vi修改文件后，需要使用:wq来保存并退出。安装Hadoop集群时需要多个服务器，所以需要安装多个虚拟机，请自行安装。配置服务器的hosts文件,就是将多个服务器之间建立域名配置(这样就可以使用域名来代替ip使用)。vi /etc/hosts最后添加如下内容(左边为每个服务
转载
2023-07-25 20:57:22
75阅读
配置远程登录1） 在自己的linux机上搭好hadoop2） 修改linux的hosts文件# vim /etc/hosts在hosts文件的最下面一行添加，格式为：第一部份：网络IP地址。第二部份：主机名.
转载
2023-07-13 13:33:58
58阅读
二、Hadoop教程之分布式环境集群搭建讲解（详细）前言1. 布式环境部署（1） 准备工作（2） 配置工作（3） 启动工作（4） 查看集群 前言本文只介绍安装部署Apache Hadoop2.x版本，后续文章将来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。1. 布式环境部署分部式是真正利用多台 Linux 主机来进行部署 Had
转载
2024-02-03 06:24:56
76阅读
前两天看到有人留言问在什么情况下需要部署hadoop，我给的回答也很简单，就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题，数据量少的完全发挥不了hadoop的优势，所以也没必要部署。但对于正在学习hadoop的朋友来说，hadoop运行环境部署真的是件非常头疼的事情。计划在接下来的一段时间里，以我之前学习研究大快搜索DKHadoop时经
转载
2023-08-18 20:49:06
44阅读
一、Hadoop介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。二、Hadoop集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、S
转载
2023-07-24 11:02:30
39阅读
1）NameNode内部通信端口：8020 2）NameNode web端端口：9870 3）SecondNameNode web端端口：9868 4）YARN web端端口：8088 5）历史服务器web端端口：19888
转载
2023-07-17 20:03:32
51阅读
HDFS（Hadoop Distributed File System）是一个分布式文件存储系统，几乎是离线存储领域的标准解决方案（有能力自研的大厂列外），业内应用非常广泛。近段抽时间，看一下 HDFS 的架构设计，虽然研究生也学习过相关内容，但是现在基本忘得差不多了，今天抽空对这块做了一个简单的总结，也算是再温习了一下这块的内容，这样后续再看 HDFS 方面的文章时，不至于处于懵逼状态。HDFS
转载
2023-08-16 17:44:34
84阅读
Hadoop集群搭建（三台Linux服务器）搭建之前注意的几点问题环境以及版本基本命令Linux环境准备首先安装Hadoop配置集群分发脚本克隆配置好的机器Hadoop集群配置第一步 配置其中一台Hadoop，我选的是hadoop191第二步 分发hadoop配置文件第三步 查看分发情况第四步 配置ssh第五步 配置群起集群第六步 启动集群 搭建之前注意的几点问题根据尚硅谷老师的讲课进行的总结，
转载
2023-07-13 16:38:28
102阅读
Hadoop-3.2.0 环境搭建工作环境：CentOS7 工作时间：2019/02/17-2019/02/20 安装路径：/opt/hadoop-3.2.0/ 注：本文在没有Linux和服务器集群的基础之上自行摸索，所以可能存在很多纰漏。如果想学习Hadoop-3.2.0分布式的搭建方法，可以完全参照2.7版本的搭建方法，唯一的不同是在指定datanode的文件从3.x版本开始从slave改为w
转载
2023-07-24 14:03:39
43阅读
一、虚拟机安装与配置 注意，本文不适合小白操作，查看至少需要一点儿linux操作基础，因为其中有很多命令并没有写出来。比如使用vi修改文件后，需要使用:wq来保存并退出。安装Hadoop集群时需要多个服务器，所以需要安装多个虚拟机，请自行安装。配置服务器的hosts文件,就是将多个服务器之间建立域名配置(这样就可以使用域名来代替ip使用)。vi /etc/hosts最后添加如下内容(左边为每个服务
转载
2024-05-28 23:23:30
60阅读
一、高可用HDFS 1、HDFS基础结构 2、高可用HDFS架构 主备切换控制器 ZKFailoverController：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zoo
转载
2023-07-12 11:38:12
114阅读
服务器集群就是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。 集群（cluster）技术是一种较
转载
2023-08-04 11:15:13
62阅读
【服务器数据恢复介绍】
一台服务器在正常运行过程中因为未知原因忽然崩溃，管理员对服务器进行检查发现有一块硬盘离线，只需更换故障硬盘即可，于是管理员对服务器进行更换硬盘并同步数据，但是在更换新硬盘后进行数据同步的过程中服务器中的另一块硬盘又忽然掉线，如此一来客户的服务器彻底瘫痪了，逻辑盘无法挂载，进入服务器的管理界面查看发现有两块硬盘的状态为故障脱机【服务器数据恢复备份】
&
原创
2024-06-19 14:59:59
151阅读
1、下载hadoop这里搭建最新的hadoop3.3.0版本的集群，进入hadoop官网https://hadoop.apache.org/releases.html找到要下载的版本，我这里选择的是当前最新的3.3.0版本。进入下载页面，选择清华大学的镜像（速度快）进行下载。wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common
转载
2023-09-26 15:52:43
132阅读
【服务器数据恢复介绍】 北京某公司的一台服务器在正常运行过程中因为未知原因忽然崩溃，管理员对服务器进行检查发现有一块硬盘离线，只需更换故障硬盘即可，于是管理员对服务器进行更换硬盘并同步数据，但是在更换新硬盘后进行数据同步的过程中服务器中的另一块硬盘又忽然掉线，如此一来客户的服务器彻底瘫痪了，逻辑盘无法挂载，进入服务器的管理界面查看发现有两块硬盘的状态为故障脱机【服务器数据恢
转载
2023-12-22 20:55:26
37阅读
1. 规划功能HOSTNAMEIP说明MasterHDM01192.168.1.1Namenode 兼datanode SlaveHDS02192.168.1.2Datanode SlaveHDS03192.168.1.3Datanode ClientHDC04192.168.1.4HADOOP客户端(H
转载
2023-12-25 13:40:18
36阅读
修改主机名（主机默认是带_的。如果不修改，远程hdfs-client通过主机名访问时会报java.lang.IllegalArgumentException:Does not contain a valid host:port）
1.--查看主机名
hostname
2.--设置当前主机名为master
hostnamectl set-hostname maste
3.--重启
rb
转载
2023-08-13 13:20:55
0阅读
