全局统筹前言安装前的检查开始安装虚拟机Linux的网络配置步骤虚拟机内部设置进入虚拟机安装其他东西克隆虚拟机开始搭建分布式集群集群配置启动集群jps查看进程常见问题 前言这里的笔记仅供参考使用，你可以从买来一台新的电脑就可以开始照着安装。我目前在虚拟机里面仅仅安装jdk和Hadoop，作为我们集群最基础需要的东西，有需要学习其他的东西的小伙伴可以等待我的后续更新，和其他博主不一样的是，每个人都有
转载
2023-11-26 13:57:10
74阅读
文章目录一、DataNode工作机制二、数据完整性三、掉线时限参数设置四、服役新数据节点五、退役旧数据节点（一）设置退役白名单（二）设置退役黑名单六、DataNode多目录配置（同NameNode配置） 一、DataNode工作机制一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳
DataNode启动后向
转载
2024-10-10 10:27:51
39阅读
搭建Hadoop2.0（二）hadoop环境配置 搭建Hadoop2.0（一）系统环境基本配置1. 安装ubuntu10.04 为了和合作公司的产品匹配，选择了ubuntu10.04操作系统。安装方法如下： （1）安装vmware8.0. （2） 新建一个虚拟机，选择“I will install the operation system later”。在Setting中
转载
2023-08-12 19:39:09
122阅读
# 如何实现 Hadoop 快照功能
Hadoop 是一个广泛使用的分布式存储和处理框架，而快照功能能够帮助我们在面临数据丢失或错误时快速恢复数据状态。本文将指导你如何实现 Hadoop 的快照功能。我们将逐步进行，并通过表格、代码示例以及序列图，帮助你更好地理解整个流程。
## 流程概述
以下是实现 Hadoop 快照的步骤概览：
| 步骤 | 描述
Hdfs dfs -appendToFile：把本地文件中的内容追加到HDFS中指定文件的末尾Hdfs dfs -cat ：用于查看分布式文件系统中指定文件里面的内容； 两个命令在一个截图中Hdfs dfs -checksum：用来查看指定文件的MD5值Hdfs dfs -charp：对分布式文件系统中的文件进行授权给指定用户Hdfs dfs -chmod --
转载
2023-10-08 20:59:08
94阅读
hdfs snapshot 快照的应用与操作命令的介绍一：HDFSSnapShot的介绍Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。 一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用：二：场景防止用户的错误操作： 管理员可以通过以滚动的方式周期性设置一个只读的快照，这样就可以在文件系统上有若干份只读快照。如果用户意外
转载
2023-11-23 13:33:03
114阅读
一.创建EC2实例 1.从AWS平台创建3台Amazon EC2的实例，在本次实验中使用的AMI镜像为Amazon Ubuntu 18.04版本。为了保证空间足够，使用了16GB的SSD空间。三台实例分别命名为master slave01 slave02二.安装并配置并配置java环境 2.1 使用Xshell远程登录三个实例为了方便使用，创建hadoop用户 并给予管理员权限使用命令如下： $
转载
2023-10-18 14:04:46
337阅读
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M
转载
2023-07-25 21:00:46
67阅读
# 如何实现 Hadoop 测试截图
在大数据分析领域，Hadoop 是一个重要的工具。为了验证 Hadoop 的运行状态和数据处理能力，通常需要进行一些测试并截图。本文将引导您通过一个简单的流程来实现 Hadoop 测试截图的任务。我们将从整个流程开始，逐步带您走过每一步，并附上必要的代码解释。
## 整体流程
以下是实现“Hadoop 测试截图”的基本步骤：
| 步骤 | 描述
使用root配置的hadoop并启动会出现报错错误：Starting namenodes on [master]ERROR: Attempting to operate on hdfs namenode as rootERROR: ...
原创
2022-04-22 17:02:04
2066阅读
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/933800171、使用root配置的hadoop并启动会出现报错错误：Starting namenodes on [master]ERROR: Attempting to operate on hdfs namenode as rootERROR: ...
原创
2019-06-23 12:39:57
773阅读
------------------------- A little Progress a day makes you a big success... ----------------------------
转载
2018-09-27 16:39:00
91阅读
2评论
Hadoop集群配置过程 1. 配置IP地址，网关，子网掩码和DNSBootProto改为static，ONBOOT改为yes2. 修改主机 host
# 深入理解Hadoop：实验步骤与代码示例
Hadoop是一种开源软件框架，用于分布式存储和处理大数据。为了深入了解Hadoop的工作原理，本文将通过一个简单的实验步骤，并结合相应的代码示例，帮助您更好地掌握Hadoop的使用。
## Hadoop的基本架构
Hadoop主要由两个核心模块组成：Hadoop Common和Hadoop Distributed File System（HDF
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/95964457问题：在/etc/crontab 里添加任务，想以hadoop 用户去执行这个脚本。*/5 * * * * hadoop /bin/sh /home/hadoop/runhadoop.sh一直报错，如下：crontab Error creati...
原创
2019-07-15 14:28:42
330阅读
问题：在/etc/crontab 里添加任务，想以hadoop 用户去执行这个脚本。*/5 * * * * hadoop /bin/sh /home/hadoop/runhadoop.sh一直报错，如下：crontab Error creati...
原创
2022-04-22 17:02:30
383阅读
建议：结合第四版Hadoop权威指南阅读，更有利于理解运行机制运行一个 MR 程序主要涉及以下 5 个部分：客户端： 提交 MR 作业，也就是我们运行 hadoop jar xxx 的命令后，启动的 Java 程序YARN ResourceManager： YARN 集群主节点，负责协调集群上计算资源的分配YARN NodeManager：YARN 集群从节点，负责启动和监视机器上的容器（cont
转载
2023-07-19 15:41:40
92阅读
## 以Hadoop开源的实现流程
### 1. 准备工作
在开始实现以Hadoop开源之前，我们需要先做一些准备工作。首先，确保你已经安装了Java开发环境，并熟悉Java编程语言。其次，你需要下载并安装Hadoop，并设置好相关的环境变量。
### 2. 创建一个Hadoop项目
首先，我们需要创建一个新的Hadoop项目。你可以使用任何你熟悉的集成开发环境（IDE）来创建项目，比如E
原创
2023-11-10 08:27:17
12阅读
由于实践部分主要以 Hadoop 1.0 环境为主，所以这主要介绍如何搭建 Hadoop 1.0分布式环境。整个分布式环境运行在带有linux操作系统的虚拟机上，至于虚拟机和linux系统的安装这里暂不做过多介绍。安装 Hadoop 分布式环境：1) 下载 Hadoop 安装包：在http://pan.baidu.com/s/1qXSN3hM地址中可以找到hadoop-1.2.1-bin.tar.
转载
2023-12-24 18:24:59
172阅读
HDFS快照概观Snapshottable目录快照路径使用快照升级到HDFS版本快照操作管理员操作允许快照禁止快照用户操作创建快照删除快照重命名快照获取Snapshottable目录列表获取快照差异报告概观HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。HDFS快照的实施非常有效：快照创建是即时的：成本是O
转载
2023-07-24 13:56:20
84阅读
