0x00 Hadoop简介:Hadoop是一个由Apache基金会所开发的一个开源 高可靠 可扩展的分布式计算框架。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。HDFS是Google File System（GFS）的开源实现。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算
转载
2023-09-13 23:07:45
41阅读
# Hadoop集群安全开启指南
在现代大数据处理环境中，保护数据的安全性至关重要。Apache Hadoop是一个流行的分布式计算框架，它为大数据存储和处理提供了强大的工具。然而，Hadoop集群的默认配置并不总是安全。本文将介绍如何在Hadoop集群中启用安全性，包括Kerberos认证的设置及必要的配置示例。
## 安全性的重要性
随着数据隐私法规的加强，保护数据不被未经授权的访问显得
原创
2024-08-08 18:11:08
53阅读
介绍 Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL（Simple Authentication and Security Layer，简单认证和安全层）进行安全认证，具体认证方法涉及Kerberos和DIGEST-MD5两种。 在这种机制中，Kerberos用于在客户端和服务器端之间建立
转载
2023-06-25 19:03:51
207阅读
## Hadoop安全集群和非安全集群的实现流程
为了帮助你实现Hadoop安全集群和非安全集群，我将为你详细介绍整个流程。下面是一张表格展示了实现Hadoop安全集群和非安全集群的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 生成安全证书 |
| 2 | 配置Hadoop核心文件 |
| 3 | 配置Hadoop HDFS文件系统 |
| 4 | 配置Hadoop
原创
2023-08-13 15:30:02
89阅读
1 工作流程启动NameNode，NameNode加载fsimage到内存，对内存数据执行edits log日志中的事务
原创
2022-07-02 00:03:48
141阅读
**问题描述：**今天在hadoop上传递数据时，由于数据文件太大，运行到一半突然复制中断，导致出现了安全模式，报“name node is in safe mode ”的错误提示。安全模式导致的结果就是无法上传数据到hdfs以及删除hdfs的数据，简单来说，数据都变为了只读模式，只能看，不能操作，挺麻烦的一件事情。简单介绍一下安全模式：1.安全模式时hadoop集群的一个安全保障方式。2.had
转载
2023-07-12 15:57:08
438阅读
hadoop-hdfs集群安全模式详解
HDFS安全模式影响在安全模式下,文件系统只接受读数据请求，而不接受删除、修改等变更请求HDFS进入安全模式场景NameNode在加载镜像文件和编辑日志期间处于安全模式NameNode再接收DataNode注册时处于安全模式在hdfs集群启动服务时会进入安全模式在人为操作时，刻意手动执行hdfs dfsadmin -safemode enter进入
转载
2023-11-27 11:40:12
418阅读
一、介绍概述1.NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。-旦在内存中成功建立文件系统元数据的影像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期间，NameN
转载
2024-01-08 12:55:19
128阅读
集群启动顺序：关于安全模式的一些操作强调一下块（block）、副本数（replication）的概念集群启动顺序：#NameNode启动NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期
转载
2020-07-10 00:50:01
321阅读
@ 集群启动顺序： NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个
原创
2021-07-20 09:21:24
158阅读
我们在刚启动hadoop集群的时候，肯定碰到过集群处于安全模式的情况，这个时候集群是只读的状态，不允许用户对其进行更改操作。那么这时候为什么会出现这样的情况，而这时集群在干什么呢？什么时候会退出安全模式呢？安全模式有什么用呢？什么时候集群会进入安全模式？NameNode启动时：在NameNode启动的时候，他会加载俩个文件，一个是FSimage，一个是Edits。这个俩个文件里面保存的是HDFS运
转载
2023-11-27 19:41:33
84阅读
HDFS数据管理1、设置元数据与数据的存储路径，通过 dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、 hadoop.tmp.dir，
原创
2022-02-17 17:34:52
514阅读
HDFS数据管理1、设置元数据与数据的存储路径，通过 dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、 hadoop.tmp.dir，dfs.namenode.name.dir，dfs.namenode.edits.dir，dfs.datanode.data.dir(hadoop2.x)等属性来设置；2、经常执行HDFS文件系统检查工
原创
2021-07-06 16:26:40
360阅读
相信大家在使用spring、springboot整合hadoop的时候，操作权限的时候可能会遇到下面这样一个权限异常。不过解决的方式有多种，我这里列出两种比较好的解决问题的方案。Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission
转载
2023-08-21 17:08:41
305阅读
1. 防火墙配置
1.1 检查防火墙状态（所有节点）
# Ubuntu/Debian
sudo ufw status# CentOS/RHEL
sudo firewall-cmd --state1.2 配置防火墙规则（CentOS/RHEL）
# 添加 Hadoop 所需端口
sudo firewall-cmd --permanent --add-port=8020/tcp # Name
作者：李佩京 问题：某日需要升级namenode系统，对一台namenode进行关机操作，但是关机后出现hive归档延迟。将之间关闭的机器开机后恢复正常。经过排查问题，关机的机器位于配置文件（hdfs-site.xml）中ns1的位置。原因：spark和hive默认开启缓存机制，但因为某些原因实际使用中关闭了缓存，导致高可用Namenode ns1机器不能关机，关机会早成数据流计算延迟。具体原因：
转载
2024-07-13 09:42:54
34阅读
# Hadoop离开安全模式的步骤详解
在Hadoop集群中，安全模式是一种保护状态，用于在系统启动时确保数据的一致性。离开安全模式是让集群可以正常运行和服务的关键步骤。本文将为刚入行的小白开发者详细介绍如何在Hadoop中安全地离开安全模式。
## 流程概述
在离开安全模式之前，通常需要进行以下几个步骤：
| 步骤编号 | 步骤 | 描述
原创
2024-10-02 04:17:13
51阅读
上次hadoop集群一块数据盘报警, 提交工单后维修人员更换硬盘
服务器是dell r720的, 8盘位, 蛋疼的是这些硬盘都是做的单盘raid1,维修人员说必须关机导入硬盘才能正常使用 (服务器就这样因为一块硬盘而经常关机???)
没办法关机吧, 重启动时候, 好像系统盘出现问题,无法开机. 我去机房查看了下 感觉是没有识别到系统盘, 直接启用了网络启动程序
对服务器raid配置不熟,没法搞定
1. 启动namenode和datanode，在master上输入命令hdsf dfsadmin -report查看整个集群的运行情况（记得关闭防火墙）2. 输入命令查看hadoop监听的端口，netstat -ntlp3. 在宿主机浏览器输入{masterIP}:50070进行查看4. 关闭集群 master机器命令：hadoop
转载
2023-10-25 12:50:22
105阅读
hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录，如果数据块中满足replication设置值的数据块的数量在总数据块数量中所占比例没有超过一定值（称为安全模式阀值，默认为0.999f），那么集群将持续处于安全模式，在该模式下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系
转载
2023-10-12 22:11:48
683阅读
