Hadoop集群环境搭建 1.模板虚拟机准备 （1）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G （2）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况 [root@hadoop100 ~]# ping www.b ...
转载
2021-10-16 16:56:00
124阅读
2评论
Centos7 安装Hadoop3.x 完全分布式部署Zookeeper 安装Zookeeper集群配置Hadoop 配置 jobhistoryServer
原创
精选
2023-05-18 14:12:49
925阅读
0.Hadoop和Java之间的版本配套 官方描述：https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions hadoop 3.x 版本仅支持 Java8 hadoop 2.7.x及以上版本支持Java7和Java8
原创
2022-12-05 13:48:49
185阅读
Hadoop 3.x 新特性相对于之前主要生产发布版本 Hadoop 2，Apache Hadoop 3 整合许多重要的增强功能。 Hadoop 3 是一个可用版本，提供了稳定性和高质量的 API，可以用于实际的产品开发。最低 Java 版本要求从 Java7 变为 Java8，所有 Hadoop 的 jar 都是基于 Java 8 运行是版本进行编译执
原创
2021-10-14 16:44:43
559阅读
nexus搭建
原创
2024-10-28 11:12:02
212阅读
# CentOS 7 上搭建 Hadoop 的详细指南
Apache Hadoop 是一个开源框架，用于存储和处理大数据。在当前的数据驱动时代，Hadoop 已经成为大数据领域的重要工具。本文将介绍如何在 CentOS 7 上搭建 Hadoop，包含详细的步骤和代码示例，并提供完整的配置流程。
## 环境准备
在开始之前，请确保您已经准备好以下环境：
1. 一台安装有 CentOS 7 的
最近搭建这个hadoop踩过不少坑，先是配置JDK搞错路径（普通用户和root用户下的路径不同），再就是hadoop版本不同导致的启动错误，网上找到的是hadoop2.*.*的版本，但是我安装的hadoop3.*.*的版本，环境配置有部分不同。希望大家不要重蹈覆辙！ 下载hadoop安装包 地址：h
原创
2021-07-20 09:21:09
152阅读
最近搭建这个hadoop踩过不少坑，先是配置JDK搞错路径（普通用户和root用户下的路径不同），再就是hadoop版本不同导致的启动错误，网上找到的是hadoop2.*.*的版本，但是我安装的hadoop3.*.*的版本，环境配置有部分不同。希望大家不要重蹈覆辙！ 下载hadoop安装包 地址：h
原创
2021-07-20 09:21:07
103阅读
# Hadoop3.X核心组件实现指南
## 1. 引言
欢迎来到Hadoop3.X核心组件实现指南！在本篇文章中，我将教会你如何实现Hadoop3.X核心组件。作为一名经验丰富的开发者，我将引导你完成整个过程。首先，让我们来看一下整个实现的流程。
## 2. 流程
以下是Hadoop3.X核心组件实现的流程：
```mermaid
gantt
dateFormat YYYY-M
原创
2023-09-14 19:29:30
71阅读
文章目录多NN的HA架构纠删码多NN的HA架构HDFS NameNode高可用性的初始实现为单个活动NameNode和单个备用NameNode，将edits复制到三个JournalNode。该体系结构能够容忍系统中一个NN或一个JN的故障。但是，某些部署需要更高程度的容错能力。Hadoop3.x允许用户运行多个备用NameNode。例如，通过配置三个NameNode和五个JournalNode，群集能够容忍两个节点而不是一个节点的故障。纠删码HDFS中的默认3副本方案在存储空间和其他资源（例如，网
原创
2021-05-31 18:53:12
445阅读
# Hadoop2.x和Hadoop3.x端口详解
## 导言
Hadoop是一个分布式计算框架，用于处理大规模数据集。它包含两个主要版本：Hadoop2.x和Hadoop3.x。本文将深入探讨Hadoop2.x和Hadoop3.x中使用的端口。
## Hadoop2.x端口
Hadoop2.x是早期版本的Hadoop，它使用一些特定的端口来进行通信和数据传输。下面是Hadoop2.x中主
原创
2023-08-16 06:10:05
442阅读
目录一、安装CentOS8虚拟机二、克隆虚拟机三、修改VMnet8的ip四、修改虚拟机ip（三台机器都做）五、设置主机名 （三台机器都做）六、使用Xshell连接虚拟机七、ssh免密登录（node1做即可）八、时间同步（三台机器都做）九、上传并解压安装包（node1做即可）十、安装JDK（node1做即可）十一、编辑Hadoop配置文件（node1做即可）十二、分发配置十三、启动Hadoop集群
转载
2024-03-05 11:12:21
184阅读
文章目录多NN的HA架构纠删码多NN的HA架构HDFS NameNode高可用性的初始实现为单个活动NameNode和单个备用NameNode，将edits复制到三个JournalNode。该体系结构能够容忍系统中一个NN或一个JN的故障。但是，某些部署需要更高程度的容错能力。Hadoop3.x允许用户运行多个备用NameNode。
原创
2022-01-29 10:11:26
106阅读
Hadoop3.x概述Hadoop3.x中增强了很多特性，并且也改进了很多地方，是Hadoop2.x的升级（这不是废话吗）。需要注意的是，在Hadoop3.x中，不能再使用jdk1.7，而是需要升级到jdk1.8以上版本。这是因为Hadoop2.0是基于JDK1.7开发的，而JDK1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是
原创
2018-04-10 12:41:07
10000+阅读
点赞
目标是在3台虚拟机上搭建一个Hadoop完全分布式集群。
集群规划如下：
192.168.56.107
192.168.56.108
192.168.56.109
HDFS
NameNodeDataNode
SecondaryNameNodeDataNode
DataNode
YARN
NodeManager
NodeManager
Resour
原创
2021-08-05 22:57:10
965阅读
目录测试环境Hadoop 组织框架HDFS架构YARN架构HA集群部署规划自动故障转移关于集群主机时间Linux环境搭建配置Java环境安装单机版HadoopZookeeper集群安装配置环境变量关闭防火墙修改hosts文件配置SSH免密登录修改Hadoop配置文件Hadoop集群的初始化Hadoop集群的启动测试环境Linux系统版本：CentOS 7 64位Hadoop版本：hadoop-2.
转载
2023-10-09 22:10:34
109阅读
在Centos7环境搭建LDAP服务端前言正文OpenLDAP介绍LDIF文件书写规则OpenLDAP部署安装服务配置ldap修改管理员密码初始化配置直接修改配置文件(不建议)使用ldapmodify(建议)添加模式其他配置修改修改服务端口创建域文件修改BaseDN信息添加自己的域信息 前言事情的起因是最近开始的HW行动，我们环境的NIFI集群由于是内外网隔离，所以没有开启任何安全防护措施（除了
转载
2023-10-09 10:49:41
18阅读
这章将在虚拟机中的centos7系统上搭建hadoop分布式平台，从网络环境配置，到jdk环境配置，到hadoop平台的搭建。解决centos7中Network is unreachable问题，主机与虚拟机互ping不通问题，删除自带java，安装配置jdk。hadoop集群的规模：一个namenode 2个 datanode,共需要3台系统.[centos7卸载自带jdk]centos7系统在
转载
2023-10-09 22:11:56
132阅读
相较于之前的版本来说，在端口的设置上发生了一些变化，先就这些端口变化总结如下：Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820Secondary N...
原创
2022-04-22 17:02:18
418阅读
准备工作以及安装Hadoop之前的操作和Hadoop2.X的安装相同，在我上一篇博客中，这里不做过多介绍 https://www.cnblogs.com/lmandcc/p/15306163.html 1. 写一些关键脚本，利于后续集群使用 1.1集群分发脚本xsync cd /bin/ vim x ...
转载
2021-09-17 21:37:00
35阅读
2评论
