本文通过配置hadoop相关文件实现HDFS、YARN的集群以及高可用。其他例如：队列配置、simple安全认证等见我的其他文章。 队列配置：Hadoop（3.3.1）: Capacity Scheduler：通过设置资源队列来满足不同业务之间的资源隔离、队列的弹性以及队列权限simple安全认证：Authentication for Hadoop（3.3.1） HTTP web-c
转载
2023-10-05 09:44:22
132阅读
目前Hadoop的稳定版本为1.2.1，我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本: Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode, datanode,secondNameNodejobtracker, tasktracerhadoopHadoop2192.168.124.136Datanod
转载
2023-12-28 20:15:52
132阅读
hadoop auth是与Hadoop生态系统中的身份验证和权限控制相关的技术问题。该问题不仅影响集群的安全性，还可能对数据的访问、管理和存储产生广泛影响。随着数据规模的不断扩大，以及对数据安全的要求日益提升，理解和优化hadoop auth的机制显得尤为重要。
> 权威定义：Hadoop的身份验证机制是确保用户访问数据资源时身份的有效性，保证数据的安全性和完整性。
在讨论hadoop aut
本文: 先整体了解hadoop对于web请求的安全认证逻辑，然后通过源码及结合具体的执行日志了解鉴权的逻辑，最后根据hadoop内部通讯所需的http请求，针对性地修改源码，以便修复hadoop3.3.1 的安全认证。 文章目录一. 问题描述二. 问题分析1. 官网解读1.1. Authentication for Hadoop HTTP web-consoles1.2. Hadoo
转载
2023-12-04 17:49:27
252阅读
由于Spark并没有相应的文件系统，因此需要先安装HDFS。本文简单的实现了Hadoop2.6.0的环境搭建。安装操作系统及其注意事项本文使用的操作系统是ubuntu15.04，是安装在VMware vSphere上的，其中会遇到一些奇怪的问题。1.在安装系统的时候，需要先将网络Disable，否则有可能不能安装系统。2.系统安装完成后，调整IP以及DNS地址，界面操作即可完成。3.为了免去以后的
转载
2023-11-29 01:16:36
88阅读
Hadoop Simple认证机制
# 背景介绍
Hadoop是一个开源的分布式计算框架，用于处理大数据和分布式存储。它的设计目标是能够在廉价的硬件上运行，并能够处理大量的数据。Hadoop提供了一套完整的认证和授权机制，来保护用户数据的安全性。
Hadoop的认证机制主要有两种：简单认证（Simple Authentication）和Kerberos认证。本文将重点介绍Hadoop Sim
原创
2024-01-28 10:07:19
684阅读
文不打算对这部分代码进行全面的解读，而是先对几个主要类的职能进行概述，然后再罗列一些有价值的重要细节。本文原文连接： 转载请注明出处！
第一部分：HBase Security 概述
HBase Security主要是基于User和User Group（Role）对表（或是更细粒度的Family、Qualifer）进行安全检查（目前HBase Security暂不支持基于行的安
转载
2023-08-25 10:24:51
117阅读
介绍 Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL（Simple Authentication and Security Layer，简单认证和安全层）进行安全认证，具体认证方法涉及Kerberos和DIGEST-MD5两种。 在这种机制中，Kerberos用于在客户端和服务器端之间建立
转载
2024-02-03 09:59:39
200阅读
Hadoop本身是用java开发的，所以对java的支持性非常好，但也可以使用其他语言。 下面的技术路线侧重数据挖掘方向，因为Python开发效率较高所以我们使用Python来进行任务。 因为Hadoop是运行在Linux系统上的，所以还需要掌握Linux的知识。 第一阶段：Hadoop生态架构技术 语言基础 Java：掌握javase知识，多理解和实践在Java虚拟机的内存管理、以
# Hadoop回滚到Simple认证教程
## 概述
在本教程中，我们将讨论如何将Hadoop集群回滚到Simple认证。Simple认证是一种基于用户名和密码的轻量级认证机制，可以在Hadoop集群中启用。以下是整个过程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 停止Hadoop集群中的所有服务 |
| 步骤二 | 配置Hadoop集群以使用Simple认
原创
2023-10-28 12:04:02
26阅读
Java初步本文通过运行HelloWorld对Java语言的运行产生一个初步的印象，方便后续Hadoop的开展与测试。HelloWorld.java源程序如下：public class HelloWorld{
public static void main(String[] args) {
System.out.println("Hello World!");
}
}在命令行执行j
转载
2024-10-12 12:11:01
37阅读
一、环境准备①准备三台虚拟机，查看ip ②先修改主机名(每个节点统一命名规范) 修改/etc/hosts文件：（如下） 172.18.96.1 master 172.18.96.2 slave1 172.18.96.3 slave3二、永久关闭防火墙systemctl stop firewalld
systemctl disable firewalld三、配置ssh免密登录三台机器都运行： ssh
转载
2024-01-02 06:17:57
138阅读
1. Configuration —— Hadoop的配置API之前，在获取Hadoop文件实例时，经常会创建一个Configuration实例
Configuration是Hadoop用于配置的API，是property和value的集合
addResource()：为Configuration指定配置文件。入参为resources中的xml文件名，Configuration可以从xml文件中获
转载
2024-10-10 16:08:20
66阅读
SSH的安全机制 SSH之所以能够保证安全，是由于它采用了非对称加密技术(RSA)加密了所有传输的数据。传统的网络服务程序，如FTP、和Telnet其本质上都是不安全的；因为它们在网络上用明文传送数据、用户帐号和用户口令，很容易受到中间人攻击。就是存在另一个人或者一台机器冒充真正的服务器接收用户传给服务器的数据，然后再冒充用户把数据传给真正的服
Hadoop安装方式 Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，伪分布式模式，分布式模式。 单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。 伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同
# 如何实现“Auth failed for Real User hadoop User”
## 流程图
```mermaid
classDiagram
Class01 --|> Class02: 步骤一
Class02 --|> Class03: 步骤二
Class03 --|> Class04: 步骤三
```
## 步骤
| 步骤 | 操作 |
| -----
原创
2024-06-30 05:43:21
158阅读
目录参考文章：过程记录：修改 Hadoop 配置文件：配置文件名称如何修改备注安装mysql：安装Hadoop2.7.2参考文章： 推荐程度链接备注1直接根据这篇文章来学习安装吧！这是Hadoop3.0的。(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客【很棒！！】2https://www.jianshu.com/p/de4d
转载
2024-08-02 13:31:29
82阅读
以下为本人在学习hadoop过程中遇到问题，在此做下总结方便以后查阅，同时也希望对大家有所帮助； 11、报错：/lib/ld-linux.so.2:bad ELF interpreter: 没有那个文件或目录 原因：缺少glibc.i686组件。 解决方法：yum installglibc.i686 12、hadoop-site.xml:1:1: 文件提前结
# 解决"Hadoop User leebai"的认证问题
在Hadoop集群中，用户认证是非常重要的一环。当我们在使用Hadoop集群时，可能会遇到“Auth failed for Real User hadoop User leebai”这样的错误信息。这种错误一般是由于用户认证不通过所导致的。本文将为大家介绍如何解决这一问题，并提供相关代码示例。
## 问题分析
当我们在Hadoop集
原创
2024-07-09 04:35:39
50阅读
前言本人初学hadoop，在安装配置环境时发现网上大部分博客的教程都不太完善，所以我结合了这些博客内容和老师的讲解写了下面这一份教程，这些操作都是本人经过尝试确认过没有问题的操作（如果有问题的话希望大家能够指出在集群配置时，需要至少两台机子，但有些配置都是相同的，所以以下操作可以在Master主机完成后用虚拟机的克隆即可，之后只需要修改几个配置即可，这些在后面内容都有说明下面是具体操作1、创建ha
转载
2023-09-03 00:56:09
202阅读
