介绍 Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL（Simple Authentication and Security Layer，简单认证和安全层）进行安全认证，具体认证方法涉及Kerberos和DIGEST-MD5两种。 在这种机制中，Kerberos用于在客户端和服务器端之间建立
转载
2024-02-03 09:59:39
200阅读
目前Hadoop的稳定版本为1.2.1，我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本: Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode, datanode,secondNameNodejobtracker, tasktracerhadoopHadoop2192.168.124.136Datanod
转载
2023-12-28 20:15:52
132阅读
Hadoop安装方式 Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，伪分布式模式，分布式模式。 单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。 伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同
前言本人初学hadoop，在安装配置环境时发现网上大部分博客的教程都不太完善，所以我结合了这些博客内容和老师的讲解写了下面这一份教程，这些操作都是本人经过尝试确认过没有问题的操作（如果有问题的话希望大家能够指出在集群配置时，需要至少两台机子，但有些配置都是相同的，所以以下操作可以在Master主机完成后用虚拟机的克隆即可，之后只需要修改几个配置即可，这些在后面内容都有说明下面是具体操作1、创建ha
转载
2023-09-03 00:56:09
205阅读
# 实现Hadoop身份认证Simple用户名密码
## 1. 流程
下面是实现Hadoop身份认证Simple用户名密码的流程表格：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 在Hadoop配置文件中配置Simple认证 |
| 2 | 创建用户及密码 |
| 3 | 启用认证 |
| 4 | 验证认证功能是否正常 |
## 2. 实现步骤
### 步
原创
2024-06-07 04:45:23
503阅读
由于Spark并没有相应的文件系统，因此需要先安装HDFS。本文简单的实现了Hadoop2.6.0的环境搭建。安装操作系统及其注意事项本文使用的操作系统是ubuntu15.04，是安装在VMware vSphere上的，其中会遇到一些奇怪的问题。1.在安装系统的时候，需要先将网络Disable，否则有可能不能安装系统。2.系统安装完成后，调整IP以及DNS地址，界面操作即可完成。3.为了免去以后的
转载
2023-11-29 01:16:36
88阅读
Hadoop Simple认证机制
# 背景介绍
Hadoop是一个开源的分布式计算框架，用于处理大数据和分布式存储。它的设计目标是能够在廉价的硬件上运行，并能够处理大量的数据。Hadoop提供了一套完整的认证和授权机制，来保护用户数据的安全性。
Hadoop的认证机制主要有两种：简单认证（Simple Authentication）和Kerberos认证。本文将重点介绍Hadoop Sim
原创
2024-01-28 10:07:19
684阅读
文不打算对这部分代码进行全面的解读，而是先对几个主要类的职能进行概述，然后再罗列一些有价值的重要细节。本文原文连接： 转载请注明出处！
第一部分：HBase Security 概述
HBase Security主要是基于User和User Group（Role）对表（或是更细粒度的Family、Qualifer）进行安全检查（目前HBase Security暂不支持基于行的安
转载
2023-08-25 10:24:51
117阅读
Hadoop本身是用java开发的，所以对java的支持性非常好，但也可以使用其他语言。 下面的技术路线侧重数据挖掘方向，因为Python开发效率较高所以我们使用Python来进行任务。 因为Hadoop是运行在Linux系统上的，所以还需要掌握Linux的知识。 第一阶段：Hadoop生态架构技术 语言基础 Java：掌握javase知识，多理解和实践在Java虚拟机的内存管理、以
# Hadoop回滚到Simple认证教程
## 概述
在本教程中，我们将讨论如何将Hadoop集群回滚到Simple认证。Simple认证是一种基于用户名和密码的轻量级认证机制，可以在Hadoop集群中启用。以下是整个过程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 停止Hadoop集群中的所有服务 |
| 步骤二 | 配置Hadoop集群以使用Simple认
原创
2023-10-28 12:04:02
26阅读
Java初步本文通过运行HelloWorld对Java语言的运行产生一个初步的印象，方便后续Hadoop的开展与测试。HelloWorld.java源程序如下：public class HelloWorld{
public static void main(String[] args) {
System.out.println("Hello World!");
}
}在命令行执行j
转载
2024-10-12 12:11:01
37阅读
1. Configuration —— Hadoop的配置API之前，在获取Hadoop文件实例时，经常会创建一个Configuration实例
Configuration是Hadoop用于配置的API，是property和value的集合
addResource()：为Configuration指定配置文件。入参为resources中的xml文件名，Configuration可以从xml文件中获
转载
2024-10-10 16:08:20
66阅读
SSH的安全机制 SSH之所以能够保证安全，是由于它采用了非对称加密技术(RSA)加密了所有传输的数据。传统的网络服务程序，如FTP、和Telnet其本质上都是不安全的；因为它们在网络上用明文传送数据、用户帐号和用户口令，很容易受到中间人攻击。就是存在另一个人或者一台机器冒充真正的服务器接收用户传给服务器的数据，然后再冒充用户把数据传给真正的服
以下为本人在学习hadoop过程中遇到问题，在此做下总结方便以后查阅，同时也希望对大家有所帮助； 11、报错：/lib/ld-linux.so.2:bad ELF interpreter: 没有那个文件或目录 原因：缺少glibc.i686组件。 解决方法：yum installglibc.i686 12、hadoop-site.xml:1:1: 文件提前结
Hadoop学习笔记[3]-HDFS权限验证与客户端开发hdfs自身没有用户体系，需要依靠第三方提供。例如LDAP，kerberos，linux系统用户等，但是HDFS和linux一样有超级管理员的概念，linux的超级管理员是root，HDFS的超级管理员是启动NN的用户，比如用hdp01用户启动hdfs，则hdfs的超级用户就是hdp01 虽然HDFS没有用户的概念，但是有自身的权限体系，
转载
2023-08-10 20:56:48
168阅读
环境 操作系统：Ubuntu16.04（搭建在vritualBox虚拟机） Hadoop版本：2.9.1（http://mirror.bit.edu.cn/apacge/hadoop/common）,一般下载最新的稳定版本，即下载‘stable’下的2.x.y.tar.gz创建hadoop用户 如果安装Ubuntu时不是用hadoop用户名，怎增加一个hadoop用
转载
2024-02-02 08:20:53
97阅读
基于hadoop的hive安装一、hive的软件安装二、修改配置文件三、进行相关文件夹配置四、进行临时目录配置五、对hive初始化六、进行测试，是否安装并配置成功 本篇使用的是本地模式（即本地安装mysql 替代derby存储元数据） 操作系统:Ubuntu-16.04.2-server-amd64.iso;MySql版本为5.7;hadoop版本为:2.9.1; Hive 基于hadoop的
转载
2024-08-09 10:14:03
20阅读
本文通过配置hadoop相关文件实现HDFS、YARN的集群以及高可用。其他例如：队列配置、simple安全认证等见我的其他文章。 队列配置：Hadoop（3.3.1）: Capacity Scheduler：通过设置资源队列来满足不同业务之间的资源隔离、队列的弹性以及队列权限simple安全认证：Authentication for Hadoop（3.3.1） HTTP web-c
转载
2023-10-05 09:44:22
132阅读
hdfs是一个文件系统
类unix、linux
有用户概念
hdfs没有相关命令和接口去创建用户
信任客户端 <- 默认情况使用的 操作系统提供的用户有超级用户的概念
linux系统中超级用户：root
hdfs系统中超级用户： 是namenode进程的启动用户有权限概念
hdfs的权限是自己控制的 来自于hdfs的超级用户
既:权限和组要对应上才能上传文件面向操
转载
2023-06-04 16:23:53
454阅读
hadoop之hdfs的角色以及读写流程1. hdfs简介 hdfs集群分为两大角色：namenode、datanode1.1、 namenode工作职责： 1.1.1、 记录元数据： 文件的路径 文件的副本数量 文件的切块大小 文件的块信息 文件块的位置信息 1.1.2、 响应客户端请求 1.1.3、 平衡datanode上的文件块存
转载
2023-09-02 21:55:20
53阅读
