本来以为网络搭建好了就可以了，没有想到还有ssh这个东西需要配置免密码访问，这个东西应该也算是软件上互联吧。ssh免密码本来是很简单的一件事情，不过我折腾了2天，这就是菜鸟的必经过程了，我算是觉悟了。经过无数次的尝试，终于拼出了一条正确的道路：1. 首先在本地生成空密码的公钥和私钥：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 在网上看到有些使用rsa，不过在
转载
2024-07-17 18:02:19
15阅读
# 如何在Hadoop分布式集群上添加密码保护
在Hadoop分布式集群中，数据的安全性是至关重要的。为了确保数据的安全性，我们可以为Hadoop集群添加密码保护。本文将介绍如何在Hadoop分布式集群上添加密码保护。
## 步骤一：生成密码
首先，我们需要生成一个密码，用于保护Hadoop集群。可以使用以下命令生成一个简单的密码：
```bash
$ openssl rand -base
原创
2024-05-27 05:46:46
58阅读
1、HDFS encryption背景在全世界，为零满足隐私和其他安全需求，很多政府部门、金融部门和管理单位强制要求数据加密。例如 银行支付行业为零满足信息安全必须满足支付卡行业数据安全标准 Payment Card Industry Data Security Standard (PCI DSS)。其他一些例子，美国联邦政府信息安全管理法案 United States government’s
转载
2024-02-25 10:20:14
166阅读
java通过kerberos权限认证集成hdfs，并操作hdfs实现增删查、赋权、目录配额等功能1、pom文件中引入hdfs包<dependency>
<groupId>org.apache.
hadoop</groupId>
<artifactId>
hadoop-client</artifactI
转载
2023-08-10 16:36:27
134阅读
本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w 提取码：lkjh（若链接失效在下面评论，我会及时更新） 搭建环境：hadoop-3.1.3，jdk1.8.0_162一、HA模式简介Hadoop的HA模式是在Hadoop全分布式基础上，利用ZooKeeper等协调工具配置的高可用Hadoop集群。 如果还没有配置全分布式的Hadoo
转载
2023-07-12 12:57:35
124阅读
Hadoop介绍： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。安装三台虚拟设备 在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。网络ip设置 首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。
转载
2023-08-21 10:35:01
80阅读
1.Hadoop集群尽量采用ECC内存，否则可能会出现校验和错误，ECC内存有纠错功能。在磁盘方面，尽管namenode建议采用RAID以保护元数据，但是将RAID用于datanode不会给HDFS带来益处，速度依然比HDFS的JBOD(Just a Bunch Of Disks)配置慢。RAID读写速度受制于最慢的盘片，JBOD的磁盘操作都是独立的。而且JBOD配置的HDFS某一磁盘故障可以直接
转载
2024-05-16 21:01:32
23阅读
Hadoop的优势有四高：(1) 高可用: Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失(2) 高扩展: 在集群间分配任务数据，可方便的扩展数以千计的节点(3) 高效性: 在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度(4) 高容错性: 能够自动将失败的任
转载
2023-07-24 13:56:11
223阅读
写在前面：在本教程中，默认虚拟机系统已配置好hadoop和JDK，并且集群之间的免密登录已经完成。这里我的hadoop版本号为hadoop-2.10.0，记得要全部替换为你自己的版本号哦
转载
2023-07-24 11:31:20
96阅读
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，而mapreduce必须放在一个资源调度平台（yarn）上来跑，由平台分布内存cup等信息。两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /No
转载
2023-09-20 11:59:47
101阅读
Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
转载
2023-07-30 15:53:33
109阅读
简介 Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。它的核心组件有HDFS（分布式文件系统）解决海量数据存储、YARN（作业调度和集群资源管理框架）解决资源任务调度和MapReduce（分布式运算编程框架）解决海量数据计算。另外Hadoop如今拥有一个庞大
转载
2023-09-22 12:57:04
55阅读
1、什么是HDFS透明加密？HDFS Encryption Zone加密空间，即HDFS透明加密，是一种端到端的加密模式，其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密，当数据被客户端写的时候被加密，所以HDFS服务端本身并不是一个主要的参与者。形象地说，在HDFS服务端，你看到的只是一堆加密的数据流。这个功能作用就是保证处于加密空间内的数据不被非法查询，只有经过认证
转载
2023-09-13 21:09:00
140阅读
在Hadoop的配置过程中涉及到ssh免密钥登录的问题，所以我们对于ssh的密钥管理需要有一定的清晰的认识。网络上提供的很多方法对于大家来说就是彻头彻尾的误导，今天我就研究一下免密钥的ssh登录的方法。OpenSSH（free ssh实现）具有一个非常诱人的特性就是它能够给予一对互补的数字式密钥RSA和DSA认证协议来认证用户。RSA和DSA认证承诺不比提供密钥就能够同远程系统建立连接，这也是它最
转载
2023-08-29 12:34:46
0阅读
HDFS 透明加密使用、Keystore和Hadoop KMS、加密区域HDFS中的数据会以block的形式保存在各台数据节点的本地磁盘中，但这些block都是明文的，如果在操作系统下，直接访问block所在的目录，通过Linux的cat命令是可以直接查看里面的内容的，而且是明文。下面我们直接去DataNode本地存储block的目录，直接查看block内容：/export/data/hadoop
转载
2023-09-05 10:39:26
12阅读
端午节，无聊试试，hadoop集群。部署成功，相关资料，记录下来，仅供自己参考~master 192.168.234.20node1 192.168.234.21vi /opt/modules/hadoop/hadoop-1.0.3/conf/core-site.xmlvi /opt/modules/hadoop/hadoop-1.0.3/conf/hdfs-site.xmlvi /opt/mod
原创
2013-06-15 23:44:13
924阅读
Hadoop实例：CSDN十大常用密码 一．HadoopHadoop是一个实现了MapReduce计算模型的开源分布式并行编程框架。程序员可以借助Hadoop编写程序，将所编写的程序运行于计算机机群上，从而实现对海量数据的处理。此外，Hadoop还提供一个分布式文件系统(HDFS）及分布式数据库（HBase）用来将数据存储或部署到各个计算节点上。所以，可以大致认为：Hadoop=HDFS+HBa
转载
2023-07-24 10:11:33
49阅读
http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html
原创
2013-10-27 15:27:14
257阅读
什么是hadoop？ Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 狭义上来说hadoop 指 Apache 这款开源框架，它的核心组件有：hdfs（分布式
转载
2023-07-12 15:41:12
86阅读
首先Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。基础环境环境准备1、软件版本四台服务器配置，系统：centos6.5、内存：1G（视自己配置而定）、硬盘：20G（视自己配置而定）四台服务器分配的IP地址：192.168.10.131
192.168.
转载
2024-08-02 12:04:48
33阅读
