HDFS副本摆放策略不同的版本副本摆放策略可能并不一致，HDFS主要采用一种机架感知（rack-ware）的机制来实现摆放策略。由于不同的机架上节点间通信要通过交换机（switches），同一机架上的通信带宽要优于不同机架。HDFS默认采用3副本策略（参考2.9.1 & 3.2.1）：1.若操作的机器（writer）为一个DataNode，则将一个副本放在该机器上，否则任选一个DataNo
hdfs集群组成结构： 安装hdfs集群的具体步骤：1、学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 2、修改各台机器的主机名和ip地址主机名：hdp-01 对应的ip地址：192.168.33.61主机名：hdp-02 对应的ip地址：192.168.33.62主机名：hd
文章目录一、部署Java二、配置SSH免密登录三、Hadoop的环境变量配置四、修改配置文件五、修改datanode的启动地方 一、部署Java创建三台虚拟机部署Java解压配置环境变量二、配置SSH免密登录目的是使用脚步启动远程服务器的启动，必须使用shell登陆远程服务，但每个登陆都需要输入密码就非常麻烦，所有需要配置无密配置，需要在NameNode上生成私钥，把公钥发给DataNode。S
转载
2024-04-02 11:36:43
112阅读
目录1. Key Management Service1.1 KMS概述1.2 KMS特点2. 配置KMS2.1 创建KMS2.2 添加KMS权限3. KMS加密3.1 KMS cli3.2 加密测试4. KMS信封加密4.1 KMS信封加密的定义及主要优势4.2 信封加密测试4.2.1 加密过程4.2.2 解密过程1. Key Management Service1.1 KM
转载
2023-12-13 18:47:24
231阅读
HDFS中的数据会以block的形式保存在各台数据节点的本地磁盘中，但这些block都是明文的。通过Web UI页面找到Block的ID和
原创
2023-05-15 17:05:03
472阅读
点赞
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格
原创
2023-05-15 15:33:58
431阅读
点赞
1 HDFS Trash垃圾桶1.1 文件系统垃圾桶背景回收站概述：回收站（垃圾桶）是微软Windows操作系统里的一个系统文件夹，主要用来存放用户临时删除的文档资料，存放在回收站的文件可以恢复。回收站的功能给了我们一剂“后悔药”。回收站保存了删除的文件、文件夹、图片、快捷方式等。这些项目将一直保留在回收站中，直到您清空回收站。我们许多误删除的文件就是从它里面找到的。HDFS默认：HDFS本身也是
转载
2024-05-04 13:49:57
221阅读
Hadoop运行模式之完全分布式部署Hadoop1 完全分布式部署Hadoop分析：
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
2）安装jdk
3）配置环境变量
4）安装hadoop
5）配置环境变量
6）安装ssh
7）配置集群
8）启动测试集群1.1 虚拟机准备 详见之前章节。1.2 主机名设置 详见之前章节。1.
转载
2024-05-31 06:06:45
86阅读
目录一、Ranger 介绍1、Ranger概念2、权限模型二、Ranger Aduit审计功能模块详解1、Ambari 中 Ranger config2、Ranger Audit 功能模块介绍一、Ranger 介绍1、Ranger概念Ranger 使用了一种基于属性的方法定义和强制实施安全策略。当与 Apache Hadoop 的数据治理解决方案和元数据仓储组件Apache Atlas
一、什么是Apache RangerApache Ranger来源于2013年成立于美国加利福尼亚的XA Secure公司，它是一个Hadoop安全相关的开源组件。在2014年，Hortonworks收购了XA Secure公司，将其贡献给了Apache软件基金会，目前是Apache的顶级开源项目。二、 Apache Ranger的特点Apache Ranger是基于访问策略的权限控制模型，通过对
转载
2024-04-03 22:08:56
210阅读
作者：Eric Lin (林晨辉)， Cloudera高级售后技术支持工程师。毕业于Monash大学计算机科学， Sir John Monash的奖学金获得者。曾就业于数据收集公司如Hitwise（现为Experian的子公司）和Effective Measure，担任高级工程师，负责设计，开发和管理用于采集， 处理和报告网络数据的平台（基于PHP，Java和CDH）。现任职Cloudera， 担
转载
2024-07-03 13:37:42
53阅读
信息时代，企业数据泄密已经是威胁企业信息安全的重要隐患。市面上关于Windows源代码透明加密系统软件也像雨后春笋多了起来，Windows源代码透明加密系统软件哪个好用？2020企业数据防泄密应该选哪个加密系统软件呢，今天就来深入讲解这个问题。一、从Windows源代码透明加密系统软件专业性角度来看，安秉信息源代码加密系统是企业加密首选。 1、强大的分级管理功能 分级管理功能由特权管理部门和管理员
转载
2024-08-08 10:19:03
85阅读
一、安装hdfs插件
从源码安装ranger的服务器上拷贝hdfs的插件到你需要安装的地方1、解压安装
# tar zxvf ranger-2.1.0-hdfs-plugin.tar.gz -C /data1/hadoop2、修改插件配置文件，如下
# cd /data1/hadoop/ranger-2.1.0-SNAPSHOT-hdfs-plugin/修改install.properties文件
转载
2024-02-05 12:23:07
240阅读
首先下载eclipse的插件，下载链接有https://github.com/HuangDongdong666/Hadoop-eclipse-plugin-2.8.3https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release 下载完之后，根据eclipse版本的不同，旧版本放在plugins这个文件夹下，新版
1.安装maven 3.3.9 1)将下载的安装包解压到/usr/local/文件夹下： tar -xvf apache-maven-3.3.9-bin.tar.gz2)在hadoop的home下的.bashrc末尾添加：export M2_HOME=/usr/local/apache-maven-3.3..9
export M2=$M2_HOME/bin
export PATH=$M2:$PA
转载
2024-07-08 20:39:05
74阅读
凌云时刻 · 技术导读：Apache Ranger来源于XA Secure公司。2013年，XA Secure在加利福尼亚成立，专门做Hadoop生态的安全管控。2014年，Hortonworks收购了XA Secure，之后将XA Secure以新项目Apache Ranger贡献给了Apache软件基金会。Ranger进入了Apache孵化器项目。2017年3月，Ranger成为Ap
转载
2024-05-03 19:54:09
248阅读
介绍 Aapche Ranger是以插件的形式集成到HDFS中，由Ranger Admin管理访问策略，Ranger插件定期轮询Admin更新策略到本地，并根据策略信息进行用户访问权限的判定。其中提供管理员管理策略、插件的Ranger web和Ranger Plugin，与Admin之间的通信是基于HTTP的RESTful架构。Ranger集成HDFS的架构
转载
2023-10-04 20:56:05
294阅读
# Apache Ranger HDFS 架构实现步骤指南
Apache Ranger 是一个用于提供数据安全性的框架，允许你为 Hadoop 生态系统中的数据访问设置策略。实现 Apache Ranger 与 HDFS 结合的架构，可以帮助你增强数据的安全性与合规性。接下来，我将为你介绍实现 Apache Ranger HDFS 架构的流程。
## 流程步骤
以下是实现流程的简要步骤：
文章目录一、业务背景现状&&需求二、大数据安全组件介绍与对比1、Kerberos2、Apache Sentry3、Apache Ranger4、为什么我们选择Ranger三、Apache Ranger系统架构及实践1、架构介绍2、组件介绍3、权限模型4、权限实现Hdfs实现原理Hbase实现原理Hive实现原理Yarn实现原理四、Ranger实践1、组权限实现 一、业务背景大数据
转载
2023-11-02 06:39:28
49阅读
KMS 加密解密
2019/07/04 Chenxin术语和概念KMS
Key Management Service (AWS KMS)CMK
Customer Master Key 客户主密钥 (CMK).通过KMS来管理你的CMK.AWS 账户中有三种类型的 CMK：客户托管 CMK(我们需要用的)、AWS 托管 CMK(用户可见,但不可管理.aws一些服务自带的) 和 AWS 拥有的 CMK
转载
2023-06-20 22:16:24
366阅读
