2012年底-2013年初的这段时间主导建设了一个14节点的Hadoop集群，亲历了从硬件选型到平台搭建的过程，
建设过程中有一些经验和建议，希望和大家分享，也请各位高人批评指正：
14台服务器分为2组：
组1是2台IBM 3650M4服务器，运行的是节点分别是NN、JT和2NN，NN和JT在同一台服务器上，随着集群规模的增大，最好将NN和JT分
文章目录1 Hadoop 简介1.1 优势1.2 组成1.1.1 HDFS 架构概述1.1.2 YARN 架构概述1.1.3 MapReduce 架构概述1.1.4 HDFS，YARN，MapReduce 三者关系2 Hadoop 运行环境搭建2.1 模板虚拟机环境准备2.1.1 安装模板虚拟机2.1.2 安装必要软件2.1.3 关闭防火墙2.1.4 配置自定义用户具 mkdif 权限的命令2.
转载
2023-10-06 20:19:22
6阅读
在搭建完Hadoop集群后，最让人激动的时刻莫过于启动Hadoop了，看到namenode出来了，简直高兴得跳起来啦。但是，在slave机器上jps并没有datanode，此刻又陷入了苦恼了。 我们现在先挑出来形象的讲讲，id这个东西就是一个事物的唯一标识了，如人的身份证号，又或者是手机的序列号等等。在这里，master和slave是一个集群，那么它们也有自己的id号的，而且一个集群里的id都是一
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。
注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的
在Kubernetes（K8S）环境中，部署和管理Hadoop集群是一项常见的任务。其中一个常见的问题是，当Hadoop集群中缺少DataNode节点时，需要及时解决这个问题以确保集群的正常运行。下面我将向你介绍如何解决这个问题。
### 解决Hadoop集群缺少DataNode节点的步骤
| 步骤 | 操作 |
|----|----|
| 1 | 找到缺少DataNode节点的Hadoop集
原创
2024-04-23 19:14:15
481阅读
# 如何实现 Hadoop 集群中 NameNode 与 DataNode
Hadoop 是一个大数据处理框架，通常采用分布式存储和计算。在 Hadoop 的架构中，NameNode 和 DataNode 扮演着重要的角色。NameNode 负责提供文件系统的元数据，并管理文件的命名空间；而 DataNode 则用于存储实际的数据块。本文将指导你如何搭建一个简单的 Hadoop 集群，包含 Na
原创
2024-10-07 05:43:38
41阅读
本次搭建版本 为hadoop-3.3.0.1、下载hadoop创建hadoop文件夹cd usr/
mkdir softInstall
cd softInstall/
mkdir hadoop在hadoop文件夹下执行下载命令：wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3
转载
2023-08-29 15:55:56
255阅读
上次hadoop集群一块数据盘报警, 提交工单后维修人员更换硬盘 服务器是dell r720的, 8盘位, 蛋疼的是这些硬盘都是做的单盘raid1,维修人员说必须关机导入硬盘才能正常使用 (服务器就这样因为一块硬盘而经常关机???) 没办法关机吧, 重启动时候, 好像系统盘出现问题,无法开机. 我去机房查看了下 感觉是没有识别到系统盘, 直接启用了网络启动程序 对服务器raid配置不熟,没法搞定,
转载
2024-09-07 16:39:37
33阅读
我们在之前的文章中已经说明了怎样进行ssh免密钥登录，现在详细的来说一下Hadoop的详细部署。一、硬件、软件准备三台PC机，Ubuntu10.04，Java环境二、安装过程安装ssh、设置免密码登录$ sudo apt-get install ssh
$ sudo apt-get install rsync这个之前我们已经说过如何使用ssh免密码登录，这样，我们才能使用Hadoop脚本管理远端H
Hadoop专栏上一篇主目录 下一篇 目录1. 上传压缩包到服务器2. 解压到文件夹apps3. 修改配置文件4. 配置环境变量5. 在其他节点部署6. 验证启动7. 注意事项 【前言】 安装部署hadoop集群。共有五个节点hadoop01，hadoop02，…，hadoop05。01作为主节点NameNode，02是SecondaryNameNode，03是yarn（ResourceManag
转载
2023-10-08 00:37:52
290阅读
1.namenodeNamenode 管理着文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)，比如命名空间信息，块信息等。管理这些信息的文件有两个，分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log)，这些信息被Cache在RAM中，当然，这两个文件也会被持
转载
2024-06-12 00:25:45
46阅读
大数据的核心：1、分布式存储2、分布式计算Hadoop分布式系统的两大核心：1、分布式存储 HDFS名称节点NameNode:文件管理数据节点DataNode:文件存储2、分布式计算 MapReduceMap:任务的分解Reduce:结果的汇总HDFS分布式文件系统(Hadoop Distributed File System)：hdfs是一个高度容错性的分布式文件系统，能够提供高吞吐量
转载
2023-07-12 15:49:34
113阅读
生而有涯而学无涯最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。集群配置详情hostnameip addressos(Centos7mini)master192.168.224.100Centos7(mini)slave1192.168.224.201Centos
转载
2023-07-12 15:42:12
183阅读
使用腾讯云主机，docker构建集群测试环境。环境1、操作系统： CentOS 7.2 64位网路设置hostnameIPcluster-master172.18.0.2cluster-slave1172.18.0.3cluster-slave2172.18.0.4cluster-slave3172.18.0.5Docker 安装curl -sSL https://get.daocloud.io/
转载
2023-10-13 16:09:50
123阅读
目录1.DataNode是什么？2.DataNode做什么？3.DataNode怎么做？1.DataNode是什么？Datanode是HDFS文件系统的工作节点，它们根据客户端或者是namenode的调度进行存储和检索数据，并且定期向namenode发送它们所存储的块(block)的列表。2.DataNode做什么？Datanode以存储数据块(Block)的形式保存HDFS文件响应客户端的读写文
转载
2023-07-24 11:02:18
127阅读
从架构角度而言，hadoop HDFS 是一个master/slave架构的系统。 NameNode类似于master的身份，负责管理文件系统的名字空间(namespace)以及客户端对文件meta信息的访问。所谓meta信息，就是指文件存储路径，复制因子，名称等信息以及修改日志等。同时NameNode还通过侦听客户端发送过来的心跳信息，维护整个hadoop Cluster的节点状态。 
转载
2023-07-23 21:48:31
95阅读
Hadoop第一篇:hadoop2.7.5单机版安装简介Hadoop主要完成两件事，分布式存储和分布式计算。Hadoop主要由两个核心部分组成：1.HDFS：分布式文件系统，用来存储海量数据。2.MapReduce：并行处理框架，实现任务分解和调度。HDFS是一个分布式文件系统，用来存储和读取数据的。文件系统都有最小处理单元，而HDFS的处理单元是块。HDFS保存的文件被分成块进行存储，默认的块大
转载
2024-02-05 10:33:31
308阅读
一、虚拟机的安装（Centos 7)1.点击 Centos 7镜像 进行下载 2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建 3. 利用 ifconfig命令，获取三个虚拟机的IP地址：二、搭建集群配置主节点名（master) 在命令行中输入： vi /etc/sysconfig/network 添加一下内容：NETWORKING=yes
HOSTNAME=master配
转载
2023-09-21 22:48:33
166阅读
有时候因为做临时调整可能需要删除hadoop集群中的DataNode，具体方法如下：
首先在/etc/hadoop/conf/dfs.exclude 中添加要删除节点的机器名
在控制台页面中看见显示了一个Dead Datanodes
使用命令刷新节点信息：
[hdfs@hmc ~]$ hadoop dfsadmin -refreshNodes
原创
2012-11-21 15:48:50
2379阅读
点赞
# 实现Hadoop Datanode
## 简介
在Hadoop中，Datanode是一个节点，主要负责存储实际的数据块，以及对数据块的读写操作。在一个Hadoop集群中，通常会有多个Datanode节点，它们与一个或多个NameNode节点组合成了Hadoop分布式文件系统(HDFS)。
### 实现步骤
下面将介绍如何在Kubernetes中实现Hadoop Datanode节点。我们将
原创
2024-05-24 10:17:28
123阅读
