目录参考文章：过程记录：修改 Hadoop 配置文件：配置文件名称如何修改备注安装mysql：安装Hadoop2.7.2参考文章： 推荐程度链接备注1直接根据这篇文章来学习安装吧！这是Hadoop3.0的。(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客【很棒！！】2https://www.jianshu.com/p/de4d
转载
2024-08-02 13:31:29
86阅读
HDFS数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。Hadoop提供两种校验 1、校验和 常用的错误检测码是：CRC-32（循环冗余校验）使用CRC-32算法任何大小的数据输入均计算得到一个32位的整数校验码。 2、运行后台进程来检测数据块校验和 1、写入数据节点验证 Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。元数据节
转载
2023-10-08 12:36:33
82阅读
本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。Rpc安全认证Rpc安全认证使用的是sasl框架，sasl框架本身无认证相关的实现，认证实现使用的Kerberos。SASL: 在jdk中定义的一种通用的基于客户端和服务端的认证框架，GSSAPI是其实现之一。GSSAPI: 在jdk中，作为对kerberos认证实现的一部分。Kerberos: 一种基于中心认证服务
转载
2024-06-03 19:33:34
40阅读
早期版本的Hadoop假定HDFS和MapReduce集群运行在安全环境中，由一组相互合作的用户所操作，因而访问控制措施的目标是防止偶然的数据丢失，而非阻止非授权的数据访问。例如，HDFS中的文件许可模块会阻止用户由于程序漏洞而毁坏整个文件系统，也会阻止运行不小心输人的hadoop fs -rmr /指令，但却无法阻止某个恶意用户假冒root身份来访问或删除集群中的某些数据。 从安全角度分析，Ha
转载
2023-08-28 17:05:34
10阅读
Hadoop集群搭建之初默认信任操作系统的认证结果，无法判断哪个用户是固定超级用户，能够登录集群并执行任务的用户都被认作是集群的超级管理员，所有用户对集群资源都具有相同的访问权限。集群内所有节点都是可靠值得信赖的，MapReduce和Spark计算任务能够访问集群内的任意数据资源，几乎没有任何安全措施，存在安全风险。授权控制 Apache官方推荐按服务划分账号的方式对Hadoop集群进行精细
转载
2023-09-23 12:40:11
134阅读
目录1. 安装libcrypto.so库2. 创建HDFS服务用户3. 配置各服务用户两两节点免密4. 修改本地目录权限5. 创建各服务Princial主体6. 修改Hadoop配置文件6.1 配置core-site.xml6.2 配置hdfs-site.xml6.3 配置Yarn-site.xml7. 配置Hadoo
转载
2023-08-21 13:16:28
28阅读
背景: 编写了一个MapReduce程序，发现该程序内存占用非常多，需要有一种方法来分析内存详细的占用情况。 可以使用linux上的pmap –d <PID>来看进程逻辑地址空间使用情况，但是会有很多anno区域，显然这不能够满足同学们的好奇心。 在这篇文章Eclipse远程调
转载
2023-06-30 15:04:40
107阅读
目录1. Shell访问HDFS 2. Windows访问Kerberos认证HDFS3.代码访问Kerberos认证的HDFS1. Shell访问HDFS这里以普通用户访问Kerberos安全认证的HDFS为例来演示普通用户访问HDFS及提交MR任务。1) 创建zhangsan用户及设置组在node1~node5所有节点创建zhangsan普通用户并设置密
转载
2024-08-02 10:39:50
339阅读
cdh版本的hadoop在对数据安全上的处理采用了Kerberos+Sentry的结构。kerberos主要
原创
2023-06-07 09:43:51
157阅读
概述以 Hortonworks Data Platform (HDP) 平台为例 ,hadoop大数据平台的安全机制包括以下两个方面:身份认证 即核实一个使用者的真实身份，一个使用者来使用大数据引擎平台，这个使用者需要表明自己是谁，即提供自己的身份证明，大数据平台需要检验这个证明，确定这个证明是有效的，且不是伪造的。否则，就拒绝这个使用者进入大数据引擎。授权管理 这个使用者的真实身份核实之后，需要
转载
2023-08-30 10:15:25
80阅读
# Hadoop安全认证模式实现指南
## 1. 概览
Hadoop安全认证模式可以提供对Hadoop集群中的资源和数据的访问控制和权限管理。本篇文章将向你介绍如何实现Hadoop安全认证模式。
下面的表格展示了实现Hadoop安全认证模式的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 配置Kerberos认证 |
| 2 | 生成Kerberos凭证 |
| 3
原创
2023-12-01 14:12:50
87阅读
一. Kerberos概述 强大的身份验证和建立用户身份是Hadoop安全访问的基础。用户需要能够可靠地“识别”自己，然后在整个Hadoop集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行MapReduce作业）。除了用户之外，Hadoop集群资源本身（例如主机和服务）需要相互进行身份验证，以避免潜在的恶意系统或守护程序“冒充”受信任的集群组件来获取数据访
转载
2024-01-26 23:51:28
207阅读
目录1. HDFS安全介绍2.Kerberos工作原理介绍 一. HDFS安全介绍hadoop有很多不同的发行版，比如：Apache Hadoop，CDH，HDP，MapR，EMR等等，使用这些组件部署的hdfs分布式文件系统时，都会面临很直接的一个安全问题，比如Java大数据开发工程师可以在java源代码中使用“System.setProperty("HADOOP_USER
转载
2023-07-24 13:59:48
130阅读
前言 在2014年初，我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版， 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 上部署安全认证的方案调研实施以及相应的解决方法。背景 集群安全措施相对薄弱 最早部署Hadoop集群时并没有考虑安全问题，随着集群的不断扩大， 各部门对集群的使用需求增加，集群安全问题就显得颇为重要。说
转载
2023-08-30 15:43:06
168阅读
错误 ERROR: Can't get master address from ZooKeeper; znode data == null解决 关闭hadoop，发现stop-all.sh后几个进程并没有关闭，提示no namenode to close。恍然觉得原来每次关hadoop都没有关成功，这进程该是很久
# Hadoop JMX端口
## 介绍
Apache Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的计算。在Hadoop集群中，JMX（Java管理扩展）用于管理和监控Hadoop各个组件的运行状态。JMX提供了一套标准的API，用于管理和监控Java应用程序。
在Hadoop中，每个组件都有一个对应的JMX代理，可以通过JMX来监控和管理该组件。每个组件的JMX代理都会监
原创
2023-11-29 05:27:29
141阅读
## Hadoop配置JMX
在大数据领域中，Hadoop是一个非常重要的分布式计算框架。它提供了可靠的数据存储和处理能力，支持处理海量的数据。为了有效地管理和监控Hadoop集群，我们可以使用JMX（Java Management Extensions）来配置Hadoop集群的监控和管理。
### JMX简介
JMX是Java平台的一部分，它提供了一种标准的方式来监控和管理Java应用程序
原创
2023-08-16 15:15:04
404阅读
# Hadoop JMX配置：监控与管理的利器
在大数据时代，Hadoop作为分布式计算的框架，其性能和稳定性对于企业至关重要。为了更好地监控和管理Hadoop集群，JMX（Java Management Extensions）配置成为了关键。本文将详细介绍Hadoop的JMX配置，并通过代码示例展示如何实现。
## 什么是JMX？
JMX是Java平台的一种规范，它允许从本地或远程应用程序
原创
2024-07-30 07:29:05
147阅读
# Hadoop配置 JMX 的科普文章
## 引言
在大数据处理领域，Apache Hadoop 是一个开源的框架，广泛应用于处理大规模数据。为了便于监控和管理 Hadoop 集群的各项指标，我们需要有效地配置 Java Management Extensions (JMX)。JMX 是 Java 平台的一个标准，它允许开发者监控和管理 Java 应用程序的资源。在本文中，我们将介绍如何在
原创
2024-08-07 11:19:29
191阅读
# 如何在 Hadoop 中禁用 JMX
在大数据领域，Hadoop 是一个广泛使用的框架，特别是在处理大规模数据时。JMX（Java Management Extensions）是 JVM 的一部分，用于监控和管理 Java 应用程序。虽然 JMX 提供了一些监视功能，但在某些情况下，您可能希望禁用它以提高安全性或性能。本文将为您详细介绍如何在 Hadoop 中禁用 JMX。
## 总体流程
