org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: xxx@HADOOP.COM from keytab D:\xxx\xxx\xxx.keytab javax.security.auth.login.LoginException: null (68)
Caused by:
转载
2024-10-15 18:49:58
91阅读
HDFS数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。Hadoop提供两种校验 1、校验和 常用的错误检测码是：CRC-32（循环冗余校验）使用CRC-32算法任何大小的数据输入均计算得到一个32位的整数校验码。 2、运行后台进程来检测数据块校验和 1、写入数据节点验证 Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。元数据节
转载
2023-10-08 12:36:33
82阅读
中心思想，设置kerberos环境变量时，发现JDK源码当中的一个问题，故描述如下。 在平时的使用中，如果hadoop集群配置kerberos认证的话，使用java访问hdfs或者hive时，需要先进行认证登陆，之后才可以访问。登陆代码大致如下： package demo.kerberos;
import java.io.IOException;
import org.apache.h
转载
2023-10-20 22:25:06
194阅读
目录1. Shell访问HDFS 2. Windows访问Kerberos认证HDFS3.代码访问Kerberos认证的HDFS1. Shell访问HDFS这里以普通用户访问Kerberos安全认证的HDFS为例来演示普通用户访问HDFS及提交MR任务。1) 创建zhangsan用户及设置组在node1~node5所有节点创建zhangsan普通用户并设置密
转载
2024-08-02 10:39:50
339阅读
hadoop3.3.4+flink1.15.2+hbase2.5.0集群搭建准备3台centos7 服务器,IP为192.168.10.155~157. 本文约定安装包上传到155的/opt目录,程序安装到各服务器的/usr/java目录.1.准备工作均配置hosts/etc/hosts
#在文件最后增加以下映射
192.168.10.155 master
192.168.10.156 slave
转载
2024-10-21 18:39:13
36阅读
# Hadoop 配置 Kerberos 认证指南
Hadoop 是一个广泛使用的开源大数据处理框架，它能处理大规模数据集。然而，由于其分布式特性，安全性成为了一个重要问题。Kerberos 是一种网络身份验证协议，被广泛用于确保分布式系统上数据的保密性和完整性。在本篇文章中，我们将探讨如何配置 Hadoop 以使用 Kerberos 认证，并提供详细的代码示例。
## 什么是 Kerbero
原创
2024-10-20 05:04:39
321阅读
1.概述转载并且补充：一文讲透hdfs的delegation token 最近我也在研究这个，学习一下。1.1 起因我最近在做FLink kerberos认证。我在flink配置文件中配置正确的认证方式，然后我都是RichSinkFunction 我在RichSinkFunction中构建了new KafkaProducer 自己构建了客户端，我还需要给我New的客户端传入相关的认证信息吗？还是不
转载
2023-10-02 20:41:38
372阅读
HDFS、MapRed、YARN是Hadoop大数据的基础组件，安装好Hadoop之后，这些组件自然包含在里面。正常安装Hadoop之后，通常可以通过环境变量$HADOOP_HOME知道Hadoop的安装位置：$ echo $HADOOP_HOME切换到Hadoop的安装目录，就可以愉快地使用hadoop、hdfs、mapred、yarn命令啦。Hadoop常用命令Web UI地址：http://
转载
2024-04-18 09:06:35
61阅读
# 实现Hadoop页面用户认证配置
## 概述
在Hadoop集群中，为了保证安全性，需要对用户进行认证。本文将教你如何配置Hadoop页面用户认证，以确保只有授权的用户可以访问Hadoop页面。
## 流程图
```mermaid
erDiagram
USER ||--o| HADOOP_PAGE: 配置用户认证
```
## 步骤
下面是配置Hadoop页面用户认证的步骤
原创
2024-03-13 04:43:27
167阅读
# Hadoop集群配置证书认证
在Hadoop集群中，要确保集群的安全性和数据的机密性，一种常见的方法就是通过证书认证来进行身份验证。通过配置证书认证，可以避免未经授权的用户访问集群中的数据和资源，提高系统的安全性。本文将介绍如何在Hadoop集群中配置证书认证，并提供相应的代码示例。
## 证书认证的概念
证书认证是一种基于数字证书的身份验证方法，用于确保通信双方的身份合法性。在Hado
原创
2024-07-02 05:53:11
257阅读
通常，一个Hadoop集群的安全使用kerberos来进行保障。在启用Kerberos后，需要用户进行身份验证。用户通过验证后可以使用GRANT/REVOKE语句来进行基于角色的访问控制。本文介绍一下在CDH集群中如何配置kerberos。1.KDC安装和配置脚本 脚本install_kerberos.sh可以完成kerberos服务器所有安装配置和相应的参数配置 1 #!/bin/bas
转载
2023-08-08 19:08:07
335阅读
# Hadoop单节点配置Kerberos认证
在大数据领域，Hadoop是一个重要的分布式计算框架，用于存储和处理大规模数据。为了保证数据的安全性，Hadoop提供了Kerberos认证机制，通过加密和身份验证来保护数据。
本文将介绍如何在Hadoop的单节点上配置Kerberos认证，并提供相应的代码示例。
## 1. 安装Kerberos
首先，我们需要安装Kerberos服务器。在
原创
2024-01-12 11:59:08
313阅读
1 创建Hadoop系统用户为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和用户组。创建hadoop组[root@hadoop102 ~]# groupadd hadoop hadoop103和hadoop104做同样的操作。创建各用户并设置密码[root@hadoop102 ~]# useradd hdfs -g
转载
2023-08-17 19:37:04
222阅读
1 概述
本文档用于HDFS集群整合Kerberos配置的详细步骤说明，版本分别为2.7.3和1.16。
2 前提条件
假设已有安装配置好的HDFS集群和YARN，本文使用4台服务器，角色分别为：
192.168.1.10：NameNode、SecondaryNameNode、ResourceManager
192.168.1.11：DataNo
转载
2023-08-26 19:40:13
636阅读
Hadoop Kerberos一、背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。二、安全问题2.1 用户到服务器的
转载
2024-01-23 23:02:25
38阅读
一、JDK 1、安装JDK 比较简单，不懂可以看这里： /article/details/50463782 2、设置环境变量 gedit 环境变量分为用户变量和系统变量。 用户变量配置文件：~/.bashrc（在当前用户主目录下的隐藏文件，可以通过`ls -a`查看到） 系统环境配置文件：/etc/profile 用户变量和系统变量的配置方法一样，本文以配置用户变量为例。 编辑配置文
由于之前一段时间被安排去写一个spark项目(未来一段时间也会开始开spark的坑)，因此暂时停止了读书笔记的更新，最近开始恢复读书。今天先介绍一下原书的第五章，即hadoop 的I/O知识。数据一致性一般来说，hadoop的用户希望数据能够保持一致性(Integrity)，但是由于hadoop的高并发性，数据被破坏的风险很高。一个用来检验数据是否被破坏的经典方法是计算校验和(checksum)，
转载
2023-07-13 17:10:57
101阅读
凭证过期处理策略 在最早的 Security features for Hadoop 设计中提出这样的假设: A Hadoop job will run no longer than 7 days (configurable) on a MapReduce cluster or accessing HDFS from the job will fail. 对于一般的任务
转载
2023-07-21 20:05:22
89阅读
构建 Hadoop 集群 安装选项： 1. Apache tarballs ：The Apache Hadoop project and related projects provide binary (and source) tarballs for each release.
2. Packages ：RPM and Debian p
转载
2023-12-25 13:16:45
65阅读
一、掌握Hadoop原生授权机制1.1 背景 在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。1.2安全问题
1.2.
转载
2023-08-02 20:44:00
260阅读
