前段时间，网上有言SHA-1加密技术，已经被谷歌公司破解，在linux系统中，集群间加密的技术是用DSA秘钥，秘钥本身其实是一种算法，就像前面说的SHA-1也是加密算法的一种。免密在linux系统中更有一层神秘的特色，就是其可以作为一种集群之间互相信任的协议，彼此交换公钥与私钥，然后在互相访问的时候，就可以免密码，省事省心，也是建立一种信任协议的表现吧。Hadoop集群的搭
转载
2023-07-14 11:26:35
16阅读
上一章节介绍了配置master、node1、node2的主机名以及IP地址之间的映射，可以通过ssh ip地址并输入密码来登录。今天这一章节介绍创建Hadoop用户，并且配置ssh免密码登录，让后续我们的master节点可以通过ssh无须输入密码来进行登录。1、创建Hadoop用户。sudo groupadd hadoop #建立一个hadoop的组 sudo useradd -s
转载
2023-07-13 17:03:46
255阅读
搭建ssh无密码设置配置后，仍需要输入密码访问异常按照ssh无密码配置后，仍然需要通过密码才能访问。分析可能是ssh相关目录和文件权限未设置。解决方法1、将.ssh目录权限修改为700（不可以更高，否则会不安全）；2、将authorized文件权限修改为600。启动、关闭异常Warning: $HADOOP_HOME is deprecated.异常Hadoop启动和关闭出现这句警告信息。分析Ha
转载
2024-04-19 11:53:31
59阅读
目录一、准备的资源：二、安装配置过程 目录本章就说下各种软件的安装和配置。一、准备的资源：1、tomcat(如用于在网页上查看HDFS的存储等) 地址：http://pan.baidu.com/s/1miC93ny 密码：52dd 2、jdk 地址：http://pan.baidu.com/s/1mhVWiM0 密码：fmn1 3、Hadoop（最好用centos6.5系统，否则配置
转载
2024-05-07 09:19:38
23阅读
# 连接Hadoop密码设置
在使用Hadoop进行大数据处理时，经常需要与Hadoop集群进行连接。为了保证连接的安全性，我们需要设置密码来对连接进行验证。本文将介绍如何设置Hadoop密码以及在连接时如何使用密码进行验证。
## 设置密码
在Hadoop中，我们可以使用`hadoop`命令来设置密码。首先，我们需要进入Hadoop的安装目录，并切换到Hadoop用户。
```shell
原创
2023-08-28 12:22:51
198阅读
基本安装教程按照上面的安装即可，但是安装过程中还是出现了一些问题，现整理如下：1、首先使用root用户安装可以，也省去了很多权限问题，但是最好别用，不容易发现问题，添加用户：如果是新用户，直接添加，如：useradd hadoop如果已经存在该用户，如果用户已删除，但是组还在，需使用useradd -g hadoop hadoop2、修改hadoop用户密码：root用户下修改某个用户密码：pas
转载
2023-09-14 08:17:13
264阅读
hadoop的配置配置前准备配置IP、主机名映射配置ssh免密登陆配置防火墙JDK环境安装hadoop的配置hadoop 开启跟关闭 这几天在安装hadoop，发现他的配置太繁琐了，这里就记下来，怕自己给忘了。安装这里就不说了，挺简单的，直接下载然后解压就行了重点说说配置。 配置前准备配置IP、主机名映射输入vim /etc/hosts192.168.0.130 admin01 192.168
转载
2023-07-12 11:22:30
653阅读
本文记录在3台物理机上搭建Hadoop 2.6.0的详细步骤及碰到的问题解决。默认使用root账号操作，实际中建议使用专用的hadoop用户账号。1. 环境机器： 物理机3台，ip分别为192.168.1.130、192.168.1.132、192.168.1.134 操作系统： CentOS 6.6 Java： 1.7 Hadoop: 2.6.0请确保JDK已安装，使用java -vers
转载
2024-04-07 14:57:31
37阅读
前言无论一开始安装后的主机名和普通用户有那些, 现在三台机器都要保证拥有hadoop普通用户(名字可以随便改). 这里博主所有的普通用户都为:hadoop, 密码都为:123456 创建hadoop用户, 并修改密码:useradd hadoop
passwd hadoop三台主机的主机名分别为: master slave1 slave21. 免密登陆(自身和节点与节点之间)和IP隐射映射是为了后
转载
2023-08-16 09:20:15
1014阅读
linux用户身份与群组记录的文件 cat /etc/group 查看用户组
cat /etc/shadow 查看个人密码
cat /etc/passwd 查看用户相关信息 这三个文件可以说是：账号，密码，群组 信息的的集中地！
w或who
转载
2023-09-08 21:53:58
244阅读
配置免登录Ø创建或者修改密钥目录权限假设本机的IP为“192.168.1.100”，配置免登录的操作步骤如下： 1. 以hadoop用户登录各服务器。 2. 执行以下命令，修改“.ssh 目录”权限。 chmod 755 ~/.ssh 说明：如果“.ssh”目录不存在，请在/home/hadoop
转载
2024-08-07 13:26:35
311阅读
首先是 Linux下搭建Hadoop！首先贴出一个问题，至今未解决，路过的人可以帮助一下！最初的时候比较年轻，第一次安装ssh 设置了密码，而且我在Linux下所有设置的密码都是统一的，然后我安装好了hadoop,在执行start-all.sh命令的时候需要开启ssh，这时候需要我输入密码，但是输入不正确，这是第一点！而后我删除了ssh，重装，想要设置ssh免密码登录，但是一打开ssh
转载
2024-08-12 18:44:54
42阅读
安装hadoop2.2.0
1、上传一个Hadoop包
2、解压Hadoop包
mkdir /itcast根目录下创建一个文件，以后Hadoop统一放入其中
tar -zxvf hadoop-2.2.0-64bit.tar.gz -C /itcast/ （解压到指定目录）
转载
2023-09-14 08:28:11
307阅读
文章目录一、Kerberos概述与安装二、Kafka Kerberos认证1）创建用户和生成用户keytab2）Kerberos 相关配置3）Kafka 服务端配置1、修改server.properties2、修改kafka-server-start.sh4）Kafka 客户端配置1、配置client.properties2、配置kafka-client-jaas.conf3、配置kafka-t
转载
2023-09-21 23:27:15
149阅读
所需软件:VMware iso镜像
( centOS6.5镜像文件：链接：https://pan.baidu.com/s/19uUX_M-jE6xI8kBwxhydSA
密码：xs54 )
linux客户端操作软件 (Xshell5+Xftp)(https://pan.baidu.com/s/1NqtNSvc
转载
2024-03-04 16:48:33
90阅读
需要说明一下，这里安装的ambari是支持hadoop 1.2.1版本的，而对于比较流行的新版本，比如2.0，你需要下载新的源码包.不过总的来说，安装过程是大同小异的。
Step 1 获得相关源码Ambari 依赖一些程序，为此需要先下载这些源码。注意，我们使用的环境是 CentOS 6，因此，你的操作系统若不是 CentOS 6，
转载
2024-10-01 22:21:19
99阅读
第一次写Blog。数据库（NoSql），现在想使用Hadoop对数据库的数据进行处理，涉及到数据库的连接，及相关的CRUD操作。所以，要实现一个Hadoop的连接器。类似于Mongodb，连接到数据库，需要先得到数据库对象db，然后得到数据库的collectionSpace，再得到collection，然后，就可以进行数据的读取与写入操作。元数据都是用BSON/JSON结构。下面进入Hadoop连
转载
2024-07-30 15:43:21
54阅读
用eclipse连接集群查看文件信息提示9000port拒绝连接的错误
Cannot connect to the Map/Reduce location: hadoop1.0.3
Call to ubuntu/192.168.1.111:9000 failed on connection exception: java.net.ConnectException: 拒绝连接1.
转载
2023-09-14 08:20:04
216阅读
在服务器上搭建了hadoop的伪分布式环境。大神的博客上是使用eclipse来调试，但是我入门以来一直用的是idea，eclipse已经不习惯，于是便摸索着配置了idea远程调试hadoop的环境。步骤一：下载与服务器上的hadoop同版本的hadoop安装包，我下载的是hadoop-2.7.7.tar.gz，下载后解压到某个目录，比如D:\Software\hadoop-2.7.7，
转载
2023-07-12 11:34:19
93阅读
大数据Hadoop 二一、Xshell安装（以Xshell5）为例1、安装前准备（前一篇文章有下载连接）2、打开xshell5_5.0332.exe安装Xshell二、FileZilla安装1.打开FileZilla_3.47.2.1_win64-setup.exe安装FileZilla三、通过Xshell连接虚拟机master（开启状态下）1、查看master的IP地址a） 使用root用户登
转载
2023-10-24 11:20:15
119阅读
