文章目录修改特定本地路径权限启动HDFS修改HDFS特定路径访问权限启动Yarn启动HistoryServer 修改特定本地路径权限local$HADOOP_LOG_DIRhdfs:hadoopdrwxrwxr-xlocaldfs.namenode.name.dirhdfs:hadoopdrwx------localdfs.datanode.data.dirhdfs:hadoopdrwx----
关于《Hadoop+Spark大数据巨量分析与机器学习》一书实践过程中的错误记录 ：）本文中的案例基本参考书中示例，案例不同的大家只关注解决的方法就好。错误一错误提示：bash: cd: /user: No such file or directory解决：输入usr目录下的文档都会出现上述问题，原来是每次都把usr敲成了user，sigh。错误二创建完single node cluster后，即
转载
2024-07-11 10:55:51
124阅读
一、使用PuTTY远程连接Linux及PuTTY密钥认证1、首先学会用VMwareworkstation软件创建快照，创建快照的好处是当自己安装软件或者误操作导致系统不能正常使用时，我们可以选择恢复快照到之前的某一个版本。创建快照步骤：鼠标右键虚拟机名称的位置-----快照-----拍摄快照------重命名快照名称------点击拍摄快照按钮（这样就创建了一个当前系统配置的快照）恢复快照步骤：鼠
原创
2018-03-28 21:45:40
1988阅读
一、CCAH Administrator Hadoop管理员认证认证准备建议：Hadoop管理员培训考试形式：90分钟；70%通过；60道多项选择题（会提示是单选or多选）培训内容通过讲师在课堂上的讲解，以及实操练习，学员将学习以下内容：Cloudera Manager管理机群的特性，譬如日志汇总、配置管理、报告、报警及服务管理。 YARN、MapReduce、Spark及HDFS的工作原理。 如
原创
2017-03-09 15:35:19
1980阅读
点赞
1评论
Hadoop Kerberos一、背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。二、安全问题2.1 用户到服务器的
转载
2024-01-23 23:02:25
38阅读
构建 Hadoop 集群 安装选项： 1. Apache tarballs ：The Apache Hadoop project and related projects provide binary (and source) tarballs for each release.
2. Packages ：RPM and Debian p
转载
2023-12-25 13:16:45
65阅读
凭证过期处理策略 在最早的 Security features for Hadoop 设计中提出这样的假设: A Hadoop job will run no longer than 7 days (configurable) on a MapReduce cluster or accessing HDFS from the job will fail. 对于一般的任务
转载
2023-07-21 20:05:22
89阅读
由于之前一段时间被安排去写一个spark项目(未来一段时间也会开始开spark的坑)，因此暂时停止了读书笔记的更新，最近开始恢复读书。今天先介绍一下原书的第五章，即hadoop 的I/O知识。数据一致性一般来说，hadoop的用户希望数据能够保持一致性(Integrity)，但是由于hadoop的高并发性，数据被破坏的风险很高。一个用来检验数据是否被破坏的经典方法是计算校验和(checksum)，
转载
2023-07-13 17:10:57
101阅读
1.为了 能够方便记忆， 总结一下。2. 并行软件平台，不是 一个。 （1）这个特别熟悉的 以 hadoop 为平台的 生态系统 （2）还有以 微软的 并行软件平台 生态系统 (3) 还有LexisNexis公司的 基于 C++ 开发的 HPCC下面补充（1） 有介
转载
2023-10-14 12:38:16
89阅读
一、掌握Hadoop原生授权机制1.1 背景 在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。1.2安全问题
1.2.
转载
2023-08-02 20:44:00
260阅读
1. Configuration —— Hadoop的配置API之前，在获取Hadoop文件实例时，经常会创建一个Configuration实例
Configuration是Hadoop用于配置的API，是property和value的集合
addResource()：为Configuration指定配置文件。入参为resources中的xml文件名，Configuration可以从xml文件中获
转载
2024-10-10 16:08:20
66阅读
# 使用 LDAP 进行 Hadoop 身份认证的科普
在当今大数据时代，Hadoop 作为一个极为重要的分布式计算框架，广泛应用于各种数据分析和处理任务。为了确保数据安全和管理，许多组织选择使用 LDAP（轻量级目录访问协议）进行身份认证。在这篇文章中，我们将探讨如何在 Hadoop 中使用 LDAP 进行身份认证，并附上一些示例代码和图示。
## 什么是 LDAP？
LDAP（轻量级目录
在这篇博文中，我将介绍如何进行Hadoop的部署以及如何将其与Spring Boot进行整合。通过这一过程，我会详细描述环境准备、分步指南、配置详解、验证测试、优化技巧和排错指南。希望无论你是初学者还是有经验的开发人员，都能从中受益。
### 环境准备
在开始部署之前，需要确保以下前置依赖已经安装：
1. **Java JDK** - 必须安装Java 8或更高版本。
2. **Maven*
概览DistributedCache 是一个提供给Map/Reduce框架的工具，用来缓存文件（text, archives, jars and so on）文件的默认访问协议为(hdfs://). DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前。文件在每个Job中只会被拷贝一次，缓存的归档文件会被在Slave节点中解压缩。&nbs
原创
2023-09-15 14:16:29
299阅读
本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。Rpc安全认证Rpc安全认证使用的是sasl框架，sasl框架本身无认证相关的实现，认证实现使用的Kerberos。SASL: 在jdk中定义的一种通用的基于客户端和服务端的认证框架，GSSAPI是其实现之一。GSSAPI: 在jdk中，作为对kerberos认证实现的一部分。Kerberos: 一种基于中心认证服务
转载
2024-06-03 19:33:34
40阅读
环境介绍： 一共三台机器： hadoop11: 192.168.230.11 namenode 、kerberos client hadoop12: 192.168.230.12 datanode 、kerberos client hadoop13: 192.168.230.13 datanode 、kerberos server（KDC） 保证安装kerberos 之前能正常开启hadoop集群
转载
2023-07-12 15:46:29
719阅读
点赞
1 文档编写目的Fayson在前面的文章《0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群》，本篇文章介绍在同一Java进程中，通过多线程同时访问Kerberos认证集群和非认证集群时出现的一些异常及解决方法。测试环境：CDH6.1.02 集群准备1.非认证集群，在该集群中根目录下创建了一个NONEKRBCDH目录用以标识2.认证集群，在该集群中根目录下创建了一个KRBCD
转载
2024-06-10 20:31:30
30阅读
文章目录介绍概述基本概念认证原理优点和缺点安装和使用安装Kerberos相关服务修改配置文件初始化KDC数据库修改管理员权限配置文件启动Kerberos相关服务创建Kerberos管理员用户使用概述Kerberos数据库操作Kerberos认证操作创建Hadoop系统用户Hadoop Kerberos配置(※)为Hadoop各服务创建Kerberos主体（Principal）修改Hadoop配置
HDFS数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。Hadoop提供两种校验 1、校验和 常用的错误检测码是：CRC-32（循环冗余校验）使用CRC-32算法任何大小的数据输入均计算得到一个32位的整数校验码。 2、运行后台进程来检测数据块校验和 1、写入数据节点验证 Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。元数据节
转载
2023-10-08 12:36:33
82阅读
介绍 Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL（Simple Authentication and Security Layer，简单认证和安全层）进行安全认证，具体认证方法涉及Kerberos和DIGEST-MD5两种。 在这种机制中，Kerberos用于在客户端和服务器端之间建立
转载
2024-02-03 09:59:39
200阅读
