文章目录HDFS1.1 原理及组成1.2 文件读取过程1.3 文件写入过程1.4 第二名称节点1.5 HA机制1.6 Federation机制1.7常用命令 HDFS1.1 原理及组成NameNode：管理文件系统的namespace，这些信息以镜像文件（FsImage）和日志文件（EditLog）永久保存在磁盘上。文件与block的映射信息和块所在数据节点的信息保存在内存中，它不是永久保存的，
转载
2024-04-24 12:07:25
78阅读
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。在Hadoop中，包含一个Balancer程序，通过运行这个程
请先参考 CentOs 7 安装 apache-ambari 获得一台 ambari 服务器。HDP 并不是 hadoop 的辅音简称，而是 Hortonworks 的产品 Hortonworks Data Platform 的简称，是包含 Hadoop 在内的一揽子解决方案。前置要求：3-4台 CentOS 7 机器，其中一台机器必须安装 Ambari 服务。教程参考centos 7 安装 ap
准备工作JDKhadoophive执行引擎引擎说明mr默认引擎，hadoop自带的框架，在2.x版本中已不推荐使用tez相比于mr，减少了磁盘io，速度比mr有明显提升spark内存计算框架，速度最快运行模式模式说明特点内嵌模式数据保存在内嵌的 derby 数据库中不支持多用户登录本地模式数据保存在本地的数据库，如mysql支持多用户登录远程模式数据保存在远程的数据库中，如mysql多个hive客
转载
2023-07-14 10:52:53
207阅读
HDSF简介Hadoop Distributed File System, Hadoop分布式文件系统。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS体系结构中有两类节点，一类是NameNode，又叫"元数据节点"；另一类是DataNode，又叫"数据节点"。这两类节点分别承担Master和Worker具体任务的
转载
2023-07-19 14:30:50
93阅读
1、包准备
http://archive.cloudera.com/cdh5/cdh/5/
hadoop-2.5.0-cdh5.3.0.tar.gz
zookeeper-3.4.5-cdh5.3.0.tar.gz
hive-0.13.1-cdh5.3.0.tar.gz
https://repo1.maven.o
转载
2024-04-19 16:19:26
227阅读
# 手动实现HDP Hadoop磁盘均衡的完整指南
在使用Hadoop分布式文件系统(HDFS)时，磁盘均衡对于提升数据存储和性能至关重要。在一些情况下，HDFS上某些节点的磁盘使用率可能过高，这时我们需要手动进行磁盘均衡（也称为数据再平衡）。本文将阐述磁盘均衡的步骤及所需代码，帮助刚入行的开发者实现这一目标。
## 磁盘均衡流程
以下是手动磁盘均衡的基本步骤：
| 步骤 | 描述
原创
2024-09-11 05:53:25
82阅读
HDFS 安全模式任务目的 了解什么是安全模式，知晓集群在安全模式下能做什么工作 掌握集群进入和退出安全模式的三种情况 掌握集群在正常冷启动时进入安全模式的原理 任务清单 任务1：安全模式简介 任务2：进入安全模式的三种情况 任务3：退出安全模式的三种方式 详细任务步骤任务1：安全模式简介问题场景：集群启动后，可以查看目录，但是上传文件时报错，打开 Web 页面可看到 NameNode 正处于 S
转载
2024-03-28 09:05:05
69阅读
基于虚拟机搭建hdp集群,以下是我搭建集群的虚拟机环境说明一.环境预配置参照官网配置步骤:1. 配置hosts与主机名vim /etc/hosts
# 添加以下内容(三台)
192.168.127.121 hadoop121
192.168.127.122 hadoop122
192.168.127.123 hadoop123
设置主机名
hostnamectl set-hostname had
转载
2023-07-12 10:11:33
159阅读
官方的原生配置文档Hadoop3.1.0HDFS的组成NameNodesecondaryNameNodeDataNode这是以主从模式来运行的，前两个在maser节点上，最后一个在slave节点上1. 解压hadoop安装包要学会从官方网站里找到历史镜像和release的发布版本来下载 我觉得从别人给的资源包里和从别的网盘里下载的东西还是太虚了 真正要学会一个东西必须从最原生的东西开始学起一定要下
转载
2024-04-19 17:41:13
27阅读
国六后处理配置路线1、DOC+cDPF+SCR+ASC2、铜基分子高SCR(Cu-Zeolite)3、DPF：被动再生和主动再生(HCI)相结合的控制策略，满足不同工程应用的安全可靠再生。 仪表MIL灯介绍 应GB17691-2018要求，在仪表有Mil灯，用于提示排放相关故障。 国六MIL灯和国五区别：国六MLL灯的显示状态更加复杂，但不再和排放限扭有直接联系
简介本章节我们讲讲HDFS的一些其他杂项功能，他们都是作为辅助功能而存在的。1、集群间数据拷贝我们之间使用scp实现了两个远程主机之间的文件复制，该方式可以实现文件的推拉。scp -r hello.txt root@h133:~/hello.txt //push
scp -r root@h134:/user/hello.txt hello.txt //pull
scp -r root@h1
转载
2024-05-29 08:57:35
38阅读
# 解析HDP YARN配置
在现代大数据环境中，Apache Hadoop已经成为处理大数据的主要框架之一。而YARN （Yet Another Resource Negotiator）是Hadoop 2.x及后续版本中重要的资源管理层。它负责管理集群中的资源，并调度用户的应用程序。本文将深入解析HDP（Hortonworks Data Platform）中YARN的配置，并提供一些代码示例。
文章目录前言启用磁盘平衡器生成磁盘平衡器任务执行磁盘平衡任务查询磁盘平衡任务是否完成参考来源 前言当集群磁盘空间不足时，需要增加新硬盘到机器，此时新加入的磁盘空间基本为空，而旧磁盘则已占用很多。网上则是通过增减副本的方式达到磁盘平衡方式，但如果磁盘空间大小本身不一致，通过该方法平衡后，磁盘空间不平衡情况依然存在。从 CDH 5.8.2 开始，Cloudera Manager提供了一个全面的存储容
转载
2023-09-03 20:56:09
259阅读
HDFS中的数据按照一定策略分布在集群中的多个数据节点上，但在某些情况下，数据的分布也会出现不均衡的情况，比如说集群新增加了节点，在新增加的节点上就没有数据存在，虽说之后新增的数据会分配到新节点上，不过，对于已有数据，新节点和原有节点上的分布很不均衡，而且这还会导致在分配MapReduce任务的时候新机器分配不到可执行的任务，白白浪费了新增节点的计算能力。而对于一个真实的生产环境来说，随着数据
转载
2024-04-26 09:56:56
209阅读
均衡器均衡器程序是一个hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。
1、HDFS不会自动将块从旧的datanode移到新的datanode以平衡集群。用户需要自动运行均衡器。
2、均衡器在标准日志目录中创建一个日志文件，记录每次重新分配过程（每次一行）。
3、dfs.balance.bandwidthPerS
转载
2024-03-21 12:07:21
113阅读
SharedPreferences轻量数据存储有时候我们做的App中不需要本地保存数据，但是有些小的配置参数需要记录，如果中Sqlite就感觉有点太重了，也比较麻烦，所以今天我们来看看Android系统中轻量数据存储SharedPreferencesSharedPreferences介绍 微卡智享SharedPreferences内部是以XML的形式进行数据存储的，采用Key/value的方式
转载
2023-08-18 22:14:36
117阅读
在前两节分别介绍了hadoop的安装以及HDFS的shell操作，本文紧接着前两文进行介绍本文主要对HDFS体系结构进行了基本的介绍。所有涉及到的源码都是hadoop-1.1.2的源码。我们知道在Hadoop安装部署完成之后会有5个进程，分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker。那么这5个进程分别是干什么的呢？本文将
转载
2023-09-06 22:53:03
33阅读
在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是Hard Disk Drive）和SSD（全称Solid State Drives，就是我们熟悉的
转载
2024-06-16 17:42:11
98阅读
标题：如何配置HDP Hive Server
## 概述
本文将教你如何配置HDP Hive Server。HDP（Hortonworks Data Platform）是一个开源的Hadoop分发版本，Hive是其上的一个数据仓库基础设施。我们将按照以下步骤进行配置。
## 配置流程
下表展示了配置HDP Hive Server的步骤：
| 步骤 | 描述 |
| --- | --- |
原创
2024-01-25 11:45:33
130阅读
