一、前期准备jar包准备 解压hadoop的压缩包，进入share文件夹，将其中的jar包放入一个文件夹中，在eclipse中导入。 2.配置环境变量 配置HADOOP_HOME环境变量二、API操作HDFS操作HDFS步骤主要有三步 1.获取文件系统 2.对文件进行操作 3.关闭资源1.文件上传public static void main(String[] args) throws Excep
转载
2024-06-07 21:52:28
44阅读
目录1 HDFS的概述1.1 HDFS的概念1.2 HDFS优缺点1.2.1 优点1.2.2 缺点1.3 HDFS的架构1.4 block文件块的大小2 HDFS的shell客户端操作3 HDFS的java客户端操作3.1 HDFS客户端操作4 HDFS的数据流4.1 HDFS写数据流程4.2 HDFS读数据流程5 NameNode和Second NameNode的工作机制5.
转载
2024-02-25 07:52:39
186阅读
目录一、HDFS-HA配置和测试1. 修改hdfs-site.xml2. 修改core-site.xml3. 服务启动二、自动故障转移1. 修改hdfs-site.xml文件2. 修改core-site.xml文件3. 服务启动试想一个场景，每个hdfs集群只有一个namenode节点，如果这个namenode节点不可用，那么整个hdfs集群服务都不可用，这样集群的可抗性是非常差的。HDFS-HA
转载
2024-02-23 11:25:17
127阅读
目录1.修改hdfs配置2.配置两个集群的hosts3.在两个集群中创建相同加密算法的共享principal4.在两个hdfs集群中增加彼此域中受信任的principal的命名匹配规则5.修改两个集群所有主机的krb5.conf配置文件6.重启两个集群的kdc7.重启两个集群的hdfs集群和yarn集群8.查看对方hdfs上的文件目录9.向对方hdfs集群上传文件10.使用distcp传输数据到对
转载
2023-10-17 12:28:28
272阅读
HDFS集群包括，NameNode和DataNode以及Secondary Namenode。NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息；DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。一、DataNode工作机制一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是
转载
2024-03-19 19:38:22
240阅读
添加互信后，也可能出现很奇怪的现象：连接远程互信的机器还是需要输入密码，之前此方法在其他场景中屡试不爽，现如今确失灵了，难免很郁闷。
原创
2019-04-30 15:48:01
1884阅读
[root@akin log]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase ag
原创
2012-04-24 16:00:31
613阅读
首先，我们先了解一下ssh互信的原理，说白了，就是两台机器(db1和db2)经过预先设置好经过认证的key文件，双方互相访问时，进行自动认证，从而实现互信。
原创
2015-02-12 11:58:38
400阅读
配置SSH免密码登录：需要先关闭selinux，否则会互信失败[root@rhel-1 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save&n
原创
2016-03-30 14:24:04
846阅读
配置无密码登陆本机ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keys然后将~/.ssh/id_rsa.pub即公钥发送到对端机器，然后对端机器执行cat ~/id_rsa.pub >>
转载
2020-07-01 17:01:00
169阅读
2评论
# Hadoop互信配置教程
## 事情流程
```mermaid
erDiagram
用户 ||--o 配置文件 : 配置
配置文件 ||--o Hadoop集群 : 互信
```
## 步骤及代码示例
### 步骤1：生成SSH秘钥
```markdown
1. 生成SSH秘钥
```bash
ssh-keygen -t rsa
```
### 步骤2：将秘钥添加到au
原创
2024-02-25 06:28:48
38阅读
生产密钥并发送主机ssh-keygen -t rsassh-copy-id hostname
原创
2021-09-28 16:42:34
281阅读
点赞
互信
原创
2014-01-08 10:52:30
665阅读
Linux操作系统作为一种开源操作系统，备受广大用户的喜爱。其中，基于Linux内核的发行版之一——红帽Linux备受关注。红帽Linux以其稳定性、安全性和高性能而著称，受到了众多企业和个人用户的青睐。
在Linux世界中，“互信”（trust）是一个非常关键的概念。互信是指用户对Linux系统的信任，也是系统与系统之间相互信任的过程。在红帽Linux中，互信的概念被广泛应用，帮助用户建立可靠
原创
2024-03-18 11:43:58
108阅读
01. 互信原理介绍什么是SSH？简单说，SSH是一种网络协议，用于计算机之间的加密登录。例如，一个用户从本地计算机，使用SSH协议登录另一台远程计算机。最早的时候，互联网通信都是明文通信，一旦被截获，内容就暴露无疑。1995年，芬兰学者Tatu Ylonen设计了SSH协议，将登录信息全部加密，成为互联网安全的一个基本解决方案，迅速在全世界获得推广，目前已经成为Linux系统的标准配置。SSH基
转载
2024-07-23 07:02:24
38阅读
最近看一些文档，看见了互信息的使用，第一次接触互信息，感觉和专业有些相关，就把它记录下来，下面是一片不错的文章。 互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。平均互信息量定义:互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为
转载
2023-11-11 13:22:52
120阅读
source端root cd1 ssh-keygen -t rsa这里记得加上-t rsa参数，意思是生成rsa类型的公钥秘钥对~/.ssh/目录下多了id_rsa和id_rsa.pub两个文件，分别是私钥和公钥，这里我们只需要公钥即可。2 scp id_rsa.pub root@ip:~/.ssh/id_rsa.pub_bak 重命名避免覆盖目标主机原有的公钥targe 端r
原创
2017-11-06 16:50:18
408阅读
亲爱滴伙伴们,我们又见面了。今天我们继续讲讲Linux7平台Oracle19C RAC安装那些事儿。事情是这样的，一“入坑”不久的哥们在安装GI的时候，到了互信配置这一步死活过不去。当时第一反应是怀疑这哥们是不是哪里姿势错了。接手后发现不管是使用界面配置互信，还是手动配置，显示成功后，点击next报错，错误信息显示两个节点互信配置失败。注意：这里说的互信配置成功指的是手动输入命令验证确认成功的。到
转载
2023-12-24 11:53:34
34阅读
前言 在部署ansible过程中，刚开始我把被控制端的密码明文的写在了/etc/ansible/hosts中考虑到安全问题，因为ansible不需要安装客户端和服务端，原因是基于ssh连接。正因此可以创建ssh互信控制端和被控制端。一、文件iplist该文件是记录被控制端的ip 要和/etc/ansible/hosts定义的ip一致。否则会有的机器不会连通。实验过程中：c
原创
2015-10-11 23:10:07
1514阅读
点赞
基于ssh的方式与被管理的主机进行通信，在管理的主机上（部署ansible的主机上）生成一对非对称密钥，将公钥发给被管理的主机。（1）生成一对密钥：ssh-keygen -t rsa123456789101112131415161718192021[root@wlm yum.repos.d]# ssh-keygen -t rsa &nb
原创
2017-05-22 16:52:48
1531阅读
