关于《Hadoop+Spark大数据巨量分析与机器学习》一书实践过程中的错误记录 ：）本文中的案例基本参考书中示例，案例不同的大家只关注解决的方法就好。错误一错误提示：bash: cd: /user: No such file or directory解决：输入usr目录下的文档都会出现上述问题，原来是每次都把usr敲成了user，sigh。错误二创建完single node cluster后，即
转载
2024-07-11 10:55:51
124阅读
Hadoop运行环境搭建1.虚拟机环境准备1)准备一台模板虚拟机hadoop100，虚拟机配置要求如下： 备注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备[root@hadoop100 ~]# yum install -y epel-release
[root@hadoop100 ~]# yum
转载
2024-09-06 00:08:58
82阅读
hadoop集群中发现使用Parallel Scavenge+Parallel Old收集器组合进行垃圾收集（这也是server端jvm默认的GC方式）时CPU占用可能会非常高，偶尔会出现爆满的状态，考虑可能是由于当时程序在执行GC导致的，而且很可能是由于并行GC导致的，我们根据服务器启动的Java进程查看一下当前使用的是哪种GC方式：
转载
2023-10-07 19:48:03
160阅读
# Hadoop Xml多UGI简介
## 引言
在Hadoop分布式文件系统（HDFS）中，用户可以通过Hadoop User Group Information（UGI）来验证和授权用户访问权限。UGI是一个包含用户身份、用户组和认证方式的对象。在Hadoop中，用户可以使用XML文件配置多个UGI，这使得用户可以通过不同的认证方式访问HDFS。
本文将介绍Hadoop中使用XML配置多
原创
2023-10-17 12:01:43
261阅读
利用Xshell连接虚拟机，进行以下操作：1.关闭防火墙显示防火墙状态running/not runningfirewall-cmd --state临时关闭防火墙，每次开机重新开启防火墙systemctl stop firewalld 禁止防火墙服务systemctl disable firewalld 2.传输JDK和HADOOP压缩利用xftp把文件夹中的两个压缩文件（如下
转载
2024-10-22 14:31:08
39阅读
文章目录一、MapReduce的定义二、MapReduce优缺点优点：缺点三、MapReduce组成四、案例演示第一步、创建测试数据第二步、编写Mapper类第三步、编写Reducer类第四步、编写Driver类第五步、运行五、MapReduce运行流程流程示意图-简略版（结合案例）流程示意图-详细版 一、MapReduce的定义MapReduce是一个分布式运算程序的编程框架，核心功能是将用户
转载
2024-09-05 14:39:54
49阅读
## 使用libhdfs设置ugi_config文件路径
在Hadoop中，libhdfs是一个C语言库，用于与HDFS交互。当我们使用libhdfs操作HDFS时，有时候需要设置一个名为ugi_config的配置文件，来指定用户和组信息。本文将介绍如何在使用libhdfs时设置ugi_config文件路径。
### 什么是ugi_config文件
ugi_config文件是一个文本文件，用
原创
2024-05-07 07:36:49
170阅读
# 使用Hive UGI进行用户身份验证
在Hadoop生态系统中，Hive是一个用于进行数据分析和查询的数据仓库工具。Hive提供了类似于SQL的查询语言来处理和分析大规模数据集。为了确保数据的安全性和验证用户的身份，Hive提供了UGI（User Group Information）来进行用户身份验证。
UGI是Hadoop中的一个核心类，用于表示用户和用户组的信息。它可以用于在Hadoo
原创
2024-01-08 06:16:43
186阅读
文章目录修改特定本地路径权限启动HDFS修改HDFS特定路径访问权限启动Yarn启动HistoryServer 修改特定本地路径权限local$HADOOP_LOG_DIRhdfs:hadoopdrwxrwxr-xlocaldfs.namenode.name.dirhdfs:hadoopdrwx------localdfs.datanode.data.dirhdfs:hadoopdrwx----
# HBase中的UGI保存错误解析与解决方案
HBase作为一款分布式的列存储数据库，广泛应用于大数据处理场景。在HBase的使用中，开发者可能会遇到“保存UGI错误”的问题。UGI全称是User Group Information，指的是用户和用户组信息，这是Hadoop和HBase系统中安全机制的重要组成部分。本文将深入探讨保存UGI错误的原因，并为您提供解决方案。
## UGI保存错误
Hadoop Kerberos一、背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。二、安全问题2.1 用户到服务器的
转载
2024-01-23 23:02:25
38阅读
构建 Hadoop 集群 安装选项： 1. Apache tarballs ：The Apache Hadoop project and related projects provide binary (and source) tarballs for each release.
2. Packages ：RPM and Debian p
转载
2023-12-25 13:16:45
65阅读
由于之前一段时间被安排去写一个spark项目(未来一段时间也会开始开spark的坑)，因此暂时停止了读书笔记的更新，最近开始恢复读书。今天先介绍一下原书的第五章，即hadoop 的I/O知识。数据一致性一般来说，hadoop的用户希望数据能够保持一致性(Integrity)，但是由于hadoop的高并发性，数据被破坏的风险很高。一个用来检验数据是否被破坏的经典方法是计算校验和(checksum)，
转载
2023-07-13 17:10:57
101阅读
凭证过期处理策略 在最早的 Security features for Hadoop 设计中提出这样的假设: A Hadoop job will run no longer than 7 days (configurable) on a MapReduce cluster or accessing HDFS from the job will fail. 对于一般的任务
转载
2023-07-21 20:05:22
89阅读
1.为了 能够方便记忆， 总结一下。2. 并行软件平台，不是 一个。 （1）这个特别熟悉的 以 hadoop 为平台的 生态系统 （2）还有以 微软的 并行软件平台 生态系统 (3) 还有LexisNexis公司的 基于 C++ 开发的 HPCC下面补充（1） 有介
转载
2023-10-14 12:38:16
89阅读
一、掌握Hadoop原生授权机制1.1 背景 在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。1.2安全问题
1.2.
转载
2023-08-02 20:44:00
260阅读
1. Configuration —— Hadoop的配置API之前，在获取Hadoop文件实例时，经常会创建一个Configuration实例
Configuration是Hadoop用于配置的API，是property和value的集合
addResource()：为Configuration指定配置文件。入参为resources中的xml文件名，Configuration可以从xml文件中获
转载
2024-10-10 16:08:20
66阅读
# 使用 LDAP 进行 Hadoop 身份认证的科普
在当今大数据时代，Hadoop 作为一个极为重要的分布式计算框架，广泛应用于各种数据分析和处理任务。为了确保数据安全和管理，许多组织选择使用 LDAP（轻量级目录访问协议）进行身份认证。在这篇文章中，我们将探讨如何在 Hadoop 中使用 LDAP 进行身份认证，并附上一些示例代码和图示。
## 什么是 LDAP？
LDAP（轻量级目录
1 文档编写目的Fayson在前面的文章《0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群》，本篇文章介绍在同一Java进程中，通过多线程同时访问Kerberos认证集群和非认证集群时出现的一些异常及解决方法。测试环境：CDH6.1.02 集群准备1.非认证集群，在该集群中根目录下创建了一个NONEKRBCDH目录用以标识2.认证集群，在该集群中根目录下创建了一个KRBCD
转载
2024-06-10 20:31:30
30阅读
环境介绍： 一共三台机器： hadoop11: 192.168.230.11 namenode 、kerberos client hadoop12: 192.168.230.12 datanode 、kerberos client hadoop13: 192.168.230.13 datanode 、kerberos server（KDC） 保证安装kerberos 之前能正常开启hadoop集群
转载
2023-07-12 15:46:29
719阅读
点赞
