目前Hadoop的稳定版本为1.2.1，我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本: Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode, datanode,secondNameNodejobtracker, tasktracerhadoopHadoop2192.168.124.136Datanod
转载
2023-12-28 20:15:52
132阅读
由于Spark并没有相应的文件系统，因此需要先安装HDFS。本文简单的实现了Hadoop2.6.0的环境搭建。安装操作系统及其注意事项本文使用的操作系统是ubuntu15.04，是安装在VMware vSphere上的，其中会遇到一些奇怪的问题。1.在安装系统的时候，需要先将网络Disable，否则有可能不能安装系统。2.系统安装完成后，调整IP以及DNS地址，界面操作即可完成。3.为了免去以后的
转载
2023-11-29 01:16:36
88阅读
Hadoop Simple认证机制
# 背景介绍
Hadoop是一个开源的分布式计算框架，用于处理大数据和分布式存储。它的设计目标是能够在廉价的硬件上运行，并能够处理大量的数据。Hadoop提供了一套完整的认证和授权机制，来保护用户数据的安全性。
Hadoop的认证机制主要有两种：简单认证（Simple Authentication）和Kerberos认证。本文将重点介绍Hadoop Sim
原创
2024-01-28 10:07:19
684阅读
文不打算对这部分代码进行全面的解读，而是先对几个主要类的职能进行概述，然后再罗列一些有价值的重要细节。本文原文连接： 转载请注明出处！
第一部分：HBase Security 概述
HBase Security主要是基于User和User Group（Role）对表（或是更细粒度的Family、Qualifer）进行安全检查（目前HBase Security暂不支持基于行的安
转载
2023-08-25 10:24:51
117阅读
介绍 Hadoop中的安全机制包括认证和授权。而Hadoop RPC中采用SASL（Simple Authentication and Security Layer，简单认证和安全层）进行安全认证，具体认证方法涉及Kerberos和DIGEST-MD5两种。 在这种机制中，Kerberos用于在客户端和服务器端之间建立
转载
2024-02-03 09:59:39
200阅读
Hadoop本身是用java开发的，所以对java的支持性非常好，但也可以使用其他语言。 下面的技术路线侧重数据挖掘方向，因为Python开发效率较高所以我们使用Python来进行任务。 因为Hadoop是运行在Linux系统上的，所以还需要掌握Linux的知识。 第一阶段：Hadoop生态架构技术 语言基础 Java：掌握javase知识，多理解和实践在Java虚拟机的内存管理、以
# Hadoop回滚到Simple认证教程
## 概述
在本教程中，我们将讨论如何将Hadoop集群回滚到Simple认证。Simple认证是一种基于用户名和密码的轻量级认证机制，可以在Hadoop集群中启用。以下是整个过程的步骤：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 停止Hadoop集群中的所有服务 |
| 步骤二 | 配置Hadoop集群以使用Simple认
原创
2023-10-28 12:04:02
26阅读
Java初步本文通过运行HelloWorld对Java语言的运行产生一个初步的印象，方便后续Hadoop的开展与测试。HelloWorld.java源程序如下：public class HelloWorld{
public static void main(String[] args) {
System.out.println("Hello World!");
}
}在命令行执行j
转载
2024-10-12 12:11:01
37阅读
1. Configuration —— Hadoop的配置API之前，在获取Hadoop文件实例时，经常会创建一个Configuration实例
Configuration是Hadoop用于配置的API，是property和value的集合
addResource()：为Configuration指定配置文件。入参为resources中的xml文件名，Configuration可以从xml文件中获
转载
2024-10-10 16:08:20
66阅读
SSH的安全机制 SSH之所以能够保证安全，是由于它采用了非对称加密技术(RSA)加密了所有传输的数据。传统的网络服务程序，如FTP、和Telnet其本质上都是不安全的；因为它们在网络上用明文传送数据、用户帐号和用户口令，很容易受到中间人攻击。就是存在另一个人或者一台机器冒充真正的服务器接收用户传给服务器的数据，然后再冒充用户把数据传给真正的服
Hadoop安装方式 Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，伪分布式模式，分布式模式。 单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。 伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同
以下为本人在学习hadoop过程中遇到问题，在此做下总结方便以后查阅，同时也希望对大家有所帮助； 11、报错：/lib/ld-linux.so.2:bad ELF interpreter: 没有那个文件或目录 原因：缺少glibc.i686组件。 解决方法：yum installglibc.i686 12、hadoop-site.xml:1:1: 文件提前结
前言本人初学hadoop，在安装配置环境时发现网上大部分博客的教程都不太完善，所以我结合了这些博客内容和老师的讲解写了下面这一份教程，这些操作都是本人经过尝试确认过没有问题的操作（如果有问题的话希望大家能够指出在集群配置时，需要至少两台机子，但有些配置都是相同的，所以以下操作可以在Master主机完成后用虚拟机的克隆即可，之后只需要修改几个配置即可，这些在后面内容都有说明下面是具体操作1、创建ha
转载
2023-09-03 00:56:09
202阅读
本文通过配置hadoop相关文件实现HDFS、YARN的集群以及高可用。其他例如：队列配置、simple安全认证等见我的其他文章。 队列配置：Hadoop（3.3.1）: Capacity Scheduler：通过设置资源队列来满足不同业务之间的资源隔离、队列的弹性以及队列权限simple安全认证：Authentication for Hadoop（3.3.1） HTTP web-c
转载
2023-10-05 09:44:22
132阅读
基于hadoop的hive安装一、hive的软件安装二、修改配置文件三、进行相关文件夹配置四、进行临时目录配置五、对hive初始化六、进行测试，是否安装并配置成功 本篇使用的是本地模式（即本地安装mysql 替代derby存储元数据） 操作系统:Ubuntu-16.04.2-server-amd64.iso;MySql版本为5.7;hadoop版本为:2.9.1; Hive 基于hadoop的
转载
2024-08-09 10:14:03
20阅读
# 实现Hadoop身份认证Simple用户名密码
## 1. 流程
下面是实现Hadoop身份认证Simple用户名密码的流程表格：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 在Hadoop配置文件中配置Simple认证 |
| 2 | 创建用户及密码 |
| 3 | 启用认证 |
| 4 | 验证认证功能是否正常 |
## 2. 实现步骤
### 步
原创
2024-06-07 04:45:23
503阅读
【问题描述】 对于给定正整数 n,m，我们称正整数c为好的，当且仅当存在非 负整数x,y，使得 n*x+m*y=c。 现在给出多组数据，对于每组数据，给定 n,m,q，求[1,q]内有 多少个正整数不是好的。 【输入格式】 第一行，一个整数T表示数...
转载
2017-08-10 15:20:00
153阅读
2评论
【问题描述】 对于给定正整数 n,m，我们称正整数c为好的，当且仅当存在非 负整数x,y，使得 n*x+m*y=c。 现在给出多组数据，对于每组数据，给定 n,m,q，求[1,q]内有 多少个正整数不是好的。 【输入格式】 第一行，一个整数T表示数...
转载
2017-08-10 15:20:00
206阅读
2评论
人们常常难以理解或预知实际系统的随机行为。有时可能精确论证系统的统计特性（诸如一般的、最差和最好的性能特性）。但在其它时候，只有实际运行（或模拟）系统时，具体设计的缺陷才会显现出来。本文中，David 讨论了 SimPy，它是一种 Python 包，允许您非常方便地创建离散事件系统的模型。 在我遇到 SimPy 包的其中一位创始人 Klaus Miller 时，从他那里知道了这个包。Mi
转载
2024-06-29 08:18:58
62阅读
1.计算函数abs（）--取绝对值max()--取序列最大值，包括列表、元组min（）--取序列最小值len()--取长度divmod（a,b）---取a//b除数整数以及余数，成为一个元组pow（x,y）--取x的Y次幂pow（x,y，z）先x的Y次幂，再对Z取余round（）--修改精度，如果没有，默认取0位range（）快速生成一个列表2.其他函数callable（）--返回是否可调用返回t
转载
2023-11-16 20:26:06
83阅读
