由于之前一段时间被安排去写一个spark项目(未来一段时间也会开始开spark的坑)，因此暂时停止了读书笔记的更新，最近开始恢复读书。今天先介绍一下原书的第五章，即hadoop 的I/O知识。数据一致性一般来说，hadoop的用户希望数据能够保持一致性(Integrity)，但是由于hadoop的高并发性，数据被破坏的风险很高。一个用来检验数据是否被破坏的经典方法是计算校验和(checksum)，
转载
2023-07-13 17:10:57
101阅读
在大数据处理领域，Hadoop作为一种核心技术，被广泛应用于数据存储和处理。然而，当涉及到“hadoop登录认证”问题时，很多用户会遭遇性能瓶颈或用户访问权限不足的困扰，影响业务的顺利推进。
> “我们在使用Hadoop进行数据分析时，常常会碰到登录认证失败的问题，导致无法及时获取数据，这对项目进度造成了影响。” — 用户反馈
### 参数解析
为了有效解决Hadoop登录认证问题，首先需要理
Hadoop - YARN旧的MapReduce架构JobTracker: 负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错）TaskTracker: 加载或关闭任务，定时报告认为状态此架构会有以下问题：JobTracker是MapReduce的集中处理点，存在单点故障JobTracker完成了太多的任务，造成了过多的资源消耗，当Ma
认证kerberos：Kerberos 是一个网络身份验证协议，用户只需输入身份验证信息，验证通过获取票据即可访问多个接入 Kerberos 的服务，机器的单点登录也可以基于此协议完成。用户执行任务前，先通过KDC认证自己，获取TGT(Ticket Granting Ticket)。KDC是 Kerberos 认证的中心服务，存储用户和服务的认证信息，主要包括三部分：A database of t
转载
2024-05-06 21:20:43
102阅读
Hadoop集群免密码登录实验实验目的： (1)静态网络地址的配置； (2)主机名的配置； (3)防火墙的配置； (4)主机地址映射的配置； (5)免密码登录的配置。实验要求： (1) 完成静态网络地址的配置，所有主机的网络能够正常使用，相互之间能够正常连接； (2) 完成主机名的配置，正确设定永久有效的主机名； (3) 完成防火墙的配置，使平台相关软件的常用端口能够远程正常访问； (4) 完成
转载
2024-04-19 14:46:48
49阅读
凭证过期处理策略 在最早的 Security features for Hadoop 设计中提出这样的假设: A Hadoop job will run no longer than 7 days (configurable) on a MapReduce cluster or accessing HDFS from the job will fail. 对于一般的任务
转载
2023-07-21 20:05:22
89阅读
构建 Hadoop 集群 安装选项： 1. Apache tarballs ：The Apache Hadoop project and related projects provide binary (and source) tarballs for each release.
2. Packages ：RPM and Debian p
转载
2023-12-25 13:16:45
65阅读
Hadoop Kerberos一、背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。二、安全问题2.1 用户到服务器的
转载
2024-01-23 23:02:25
38阅读
一、掌握Hadoop原生授权机制1.1 背景 在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。 导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。1.2安全问题
1.2.
转载
2023-08-02 20:44:00
260阅读
1.为了 能够方便记忆， 总结一下。2. 并行软件平台，不是 一个。 （1）这个特别熟悉的 以 hadoop 为平台的 生态系统 （2）还有以 微软的 并行软件平台 生态系统 (3) 还有LexisNexis公司的 基于 C++ 开发的 HPCC下面补充（1） 有介
转载
2023-10-14 12:38:16
89阅读
文章目录介绍概述基本概念认证原理优点和缺点安装和使用安装Kerberos相关服务修改配置文件初始化KDC数据库修改管理员权限配置文件启动Kerberos相关服务创建Kerberos管理员用户使用概述Kerberos数据库操作Kerberos认证操作创建Hadoop系统用户Hadoop Kerberos配置(※)为Hadoop各服务创建Kerberos主体（Principal）修改Hadoop配置
HDFS数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。Hadoop提供两种校验 1、校验和 常用的错误检测码是：CRC-32（循环冗余校验）使用CRC-32算法任何大小的数据输入均计算得到一个32位的整数校验码。 2、运行后台进程来检测数据块校验和 1、写入数据节点验证 Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。元数据节
转载
2023-10-08 12:36:33
82阅读
CCA Spark and Hadoop Developer (CCA175) 开发者认证，考试形式：120分钟；70%及格；解决10~12基于CDH5机群上需通过实际操作的问题。不仅 IT 公司提供 Hadoop 工作，而且各种公司都使用高薪 Hadoop 候选人，包括金融公司、零售、银行和医疗保健。Hadoop 课程可以帮助您在大数据业务中开拓自己的职业生涯，并担任 Hadoop 的顶级职位。
转载
2023-07-23 17:38:04
0阅读
早期版本的Hadoop假定HDFS和MapReduce集群运行在安全环境中，由一组相互合作的用户所操作，因而访问控制措施的目标是防止偶然的数据丢失，而非阻止非授权的数据访问。例如，HDFS中的文件许可模块会阻止用户由于程序漏洞而毁坏整个文件系统，也会阻止运行不小心输人的hadoop fs -rmr /指令，但却无法阻止某个恶意用户假冒root身份来访问或删除集群中的某些数据。 从安全角度分析，Ha
转载
2023-08-28 17:05:34
10阅读
介绍 Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL（Simple Authentication and Security Layer，简单认证和安全层）进行安全认证，具体认证方法涉及Kerberos和DIGEST-MD5两种。 在这种机制中，Kerberos用于在客户端和服务器端之间建立
转载
2024-02-03 09:59:39
200阅读
环境介绍： 一共三台机器： hadoop11: 192.168.230.11 namenode 、kerberos client hadoop12: 192.168.230.12 datanode 、kerberos client hadoop13: 192.168.230.13 datanode 、kerberos server（KDC） 保证安装kerberos 之前能正常开启hadoop集群
转载
2023-07-12 15:46:29
719阅读
点赞
本文主要阐述HDFSRPC安全认证相关的实现。主要介绍Kerberos相关的实现。Rpc安全认证Rpc安全认证使用的是sasl框架，sasl框架本身无认证相关的实现，认证实现使用的Kerberos。SASL: 在jdk中定义的一种通用的基于客户端和服务端的认证框架，GSSAPI是其实现之一。GSSAPI: 在jdk中，作为对kerberos认证实现的一部分。Kerberos: 一种基于中心认证服务
转载
2024-06-03 19:33:34
40阅读
1 文档编写目的Fayson在前面的文章《0553-6.1.0-如何使用Java代码同时访问安全和非安全CDH集群》，本篇文章介绍在同一Java进程中，通过多线程同时访问Kerberos认证集群和非认证集群时出现的一些异常及解决方法。测试环境：CDH6.1.02 集群准备1.非认证集群，在该集群中根目录下创建了一个NONEKRBCDH目录用以标识2.认证集群，在该集群中根目录下创建了一个KRBCD
转载
2024-06-10 20:31:30
30阅读
Hadoop集群搭建之初默认信任操作系统的认证结果，无法判断哪个用户是固定超级用户，能够登录集群并执行任务的用户都被认作是集群的超级管理员，所有用户对集群资源都具有相同的访问权限。集群内所有节点都是可靠值得信赖的，MapReduce和Spark计算任务能够访问集群内的任意数据资源，几乎没有任何安全措施，存在安全风险。授权控制 Apache官方推荐按服务划分账号的方式对Hadoop集群进行精细
转载
2023-09-23 12:40:11
134阅读
华为认证有三个级别，从低到高分别是HCIA（工程师级别）-HCIP（高级工程师级别）-HCIE（专家级别），每个级别都有不同的认证方向。考试难度和含金量也会有不同。 拿华为认证最热门的方向之一Datcom的三个级别举例：HCIA-Datacom考试费200美金，通过这门考试即可拿取对应的证书，证书有效期为三年，三年后需要重新认证，认证方式是需要再参加一次考试。考试题型为：单选题，多选题，判断题，填
转载
2023-09-20 10:20:48
331阅读
