一、Hadoop上篇文章对 Hadoop 进行了简单的介绍，并搭建了单机版的 HDFS ，本篇文章继续搭建集群版本的 HDFS 以及 YARNHadoop 集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资
转载
2023-11-18 23:21:59
57阅读
# Hadoop 3 集成 Kerberos 认证的科普文章
在大数据技术不断发展的今天，Hadoop作为一个开源的分布式计算框架，被广泛应用于大数据处理。在实际应用中，数据的安全性变得尤为重要。Kerberos是一种网络身份验证协议，可确保数据传输的安全性。本文将详细介绍如何在Hadoop 3中集成Kerberos认证，并给出相关的代码示例。
## 1. 什么是Kerberos？
Kerb
原创
2024-08-03 04:56:58
119阅读
最近需要配置一个 HDFS 和 HBase 环境，看了网上别人写的博客内容之后发现。很多人写的根本不对，少了步骤，或者根本就是错的，或者配置文件根本写的不对。导致我自己不断出现问题无法搭建出稳定的 HDFS 环境。由于采用伪分布式安装，按照网上的教程安装之后，启动HDFS，有时候Namenode未启动，有时候Datanode未启动，运行HBase后，有时候
转载
2024-09-15 20:06:11
9阅读
Flink自1.11 版本之后就已经支持了hadoop3 [1][2]，具体来讲就是将 HADOOP_CLASSPATH 配置成运行机器上的hadoop3 相关jar包即可。你也可以参照 [3] 的测试步骤[1] https://issues.apache.org/jira/browse/FLINK-11086[2]https://ci.apache.org/projects/flink/flink-docs-stable/deployment/resource-providers/yarn.html
原创
2022-01-07 16:14:33
682阅读
Flink自1.11 版本之后就已经支持了hadoop3 [1][2]，具体来讲就是将 HADOOP_CLASSPATH 配置成运行机器上的hadoop3 相关jar包即可。你也可以参照 [3] 的测试步骤[1] https://issues.apache.org/jira/browse/FLINK-11086[2]https://ci.apache.org/projects/flink/flink-docs-stable/deployment/resource-providers/yarn.html
原创
2021-06-21 15:51:58
2324阅读
文章目录准备工作部署规划安装配置zookeeper下载安装目录规划将下载的二进制包移动到/usr/local/hadoop目录，解压缩文件包配置设置环境变量启动安装配置hadoop新建hadoop用户以及用户组，并赋予sudo免密码权限目录规划下载、解压配置环境变量配置复制Hadoop配置好的包到其他5台服务器启动zookeeper集群启动journalnode格式化HDFS（仅第一次启动执行）
转载
2024-01-26 07:36:48
97阅读
处节点设置为：IP主机名节点192.168.10.11 mater NameNode（NN）、DataNode（DN）192.168.10.12 slave01Secondary NameNode（SN）、DataNode（DN）192.168.10.13slave02 DataNode（DN）
转载
2023-07-13 14:26:14
204阅读
Hadoop 3.x的发展Hadoop版本包括Hadoop 1.x、Hadoop 2.x和Hadoop 3.x。本节将以Hadoop 3.1.0为例，完成HDFS高可用的搭建。Hadoop 3新特性Hadoop 3.1.0 GA版本于2017年12月份正式发布。Hadoop 3相较于Hadoop 2有一些新特性，包括基于JDK 1.8、HDFS可擦除编码、MR Native Task优化、基于Cg
转载
2023-07-13 14:26:18
150阅读
一、Hadoop 1.x、2.x、3.x的区别# Hadoop 1.x时代,MapReduce同时处理业务逻辑运算和资源的调度,耦合度较大
# Hadoop 2.x时代,将MapReduce加以拆分,分成了只负责逻辑运算的MapReduce和只负责资源调度的yarn
# Hadoop 3.x时代,组成上没有什么变化二、常用端口号# Hadoop 3.x
# HDFS NameNode内部通常端
转载
2023-09-27 09:00:35
924阅读
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。共有三台服务器：Hadoop102，Hadoop103，Hadoop104Hadoop节点分布如下(后续配置Kerberos的一些文件夹时要严格按照自身Hadoop集群中的节点情况，我这里只是举个例子)：Hadoop102: DataNode, NameNode, ResourceMan
转载
2024-04-09 07:28:06
100阅读
Hadoop3集群部署
原创
2020-11-05 10:26:14
1411阅读
# Hadoop 3 集群认证的实现指南
在大数据领域，Hadoop 是一个非常流行的开源框架，它允许存储和处理大量数据。在 Hadoop 3 集群中，认证是确保数据安全的一项重要措施，通常我们会使用 Kerberos 来实现认证。本文将为刚入行的小白提供一个简单易懂的教程，帮助其实现 Hadoop 3 集群的 Kerberos 认证。
## 流程概述
在实现 Hadoop 3 集群认证的过
Hadoop集群搭建
原创
2024-10-26 16:55:57
154阅读
1.前言 本文档适合3节点的Hadoop 高可用（HA：High Available）测试集群集群的搭建。 在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可
转载
2023-09-14 13:58:51
95阅读
# Spark3集成Hadoop2
## 介绍
在大数据领域，Spark 是一个快速、通用的集群计算系统，而 Hadoop 是一个分布式计算框架。Spark3集成Hadoop2可以让用户更加高效地处理大规模数据。
## Spark和Hadoop的关系
Spark 是一个分布式计算框架，可以运行在Hadoop HDFS上。Hadoop 提供了分布式文件系统和资源管理功能，而 Spark 则提
原创
2024-04-18 04:11:06
116阅读
文章目录1. linux ssh免密登陆配置2. java环境配置3. Hadoop完全分布式(full)4. Hadoop HDFS高可用集群搭建（HA）4.1 安装配置zookeeper4.2 安装配置hadoop HA4.3 Hadoop HDFS HA集群的启动步骤5. Hadoop MapReduce、YARN 高可用集群搭建5.1 修改 mapred-site.xml5.2 修改ya
转载
2024-02-23 11:04:34
76阅读
Hadoop Security Authentication Terminology --KerberosWhat is kinit?Kinit - obtain and cache Kerberos ticket-grantingticketIf you use the kinit commandto get your tickets, make sure you use the kdestro
转载
2023-08-22 13:33:35
150阅读
Hadoop3集群搭建Hadoop集群简介HDFS集群YARN集群Hadoop部署模式Hadoop集群源码编译安装0.Hadoop源码编译(建议)1.集群角色规划2.服务器基础环境准备安装JDK1.8(安装OracleJDK8)3.创建Hadoop安装目录,上传Hadoop安装包创建Hadoop安装目录解压安装包4.Hadoop安装包目录结构5.编辑Hadoop配置文件Hadoop常用端口说明配
转载
2024-02-26 20:54:56
69阅读
# 使用 Docker 构建 Hadoop 3 集群的指南
在这篇文章中，我们将详细介绍如何使用 Docker 构建一个 Hadoop 3 集群。由于 Hadoop 是一个用于分布式存储和处理大量数据的框架，使用 Docker 容器化技术可以非常方便地进行部署。无论是学习、开发还是生产环境，Docker 都能帮助你简化工作流程。接下来，我们将分步实施，并详细解释每一步的目的和代码。
## 1.
# Hadoop 3 集群常用端口配置指南
Hadoop 是一个广泛使用的分布式计算框架，其中集群的端口配置是确保其正常工作的关键步骤。本指南将引导您了解如何配置 Hadoop 3 集群的常用端口，确保各个组件之间能够顺畅通信。
## 流程概述
以下是配置 Hadoop 3 集群常用端口的步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 准备 Hadoop
