在生产环境中，集群节点磁盘大小不同，其使用率也会不同，HDFS虽有均衡策略，但也会有数据不平衡的情况，有些节点磁盘就会被打满，然后这个节点就不健康了（Unhealthy Nodes），Yarn的磁盘阈值检查（yarn.nodemanager.disk-health-checker.min-healthy-disks），默认是90%，超过这个值就会不健康，集群有个节点
转载
2024-04-27 09:59:06
231阅读
上篇为体验hadoop采用了伪分布模式配置，本篇为继续深究hadoop来大体把握具体实用中的分布式模式。本文实用VMware建了3个虚拟机运行ubuntu。分别为namenode whuqin1 192.168.64.143
datanode whuqin2 192.168.64.144
datanode whuqin3 192.168.64.145 1.SSH(Secure Shell
转载
2024-04-26 11:54:33
21阅读
教材学习内容总结第六章 存储器层次结构存储技术随机访问存储器分为静态(SRAM) ：SRAM将每个位储存在一个双稳态的存储器单元里。动态(DRAM)：DRAM将每个位存储为对一个电容的充电。磁盘存储磁盘是保存大量数据的存储设备，由盘片构成。旋转机械磁盘(HDD)和基于闪存的固态硬盘(SSD).磁盘容量决定因素：记录密度磁道密度面密度磁盘容量计算：磁盘访问时间：寻道时间、旋转时间、传送时间。存储器层
前提条件先搭建 的环境，然后在其基础上进行修改一、安装Zookeeper由于环境有限，所以在仅有的4台虚拟机上完成多个操作；a.在4台虚拟中选3台安装Zookeeper,我选 node5 node6 node7b.在4台虚拟中选3台作为JournalNode的节点，我选node6 node7 node8c..在4台虚拟
在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是Hard Disk Drive）和SSD（全称Solid State Drives，就是我们熟悉的
转载
2024-06-16 17:42:11
98阅读
Hadoop扩容概述Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。扩容有两个方案：1) 增加磁盘2) 增加节点方案一：扩大虚拟磁盘扩大容量将虚拟的Linux关闭，扩大磁盘容量将空间增大20G建立分区增加空间后Linux并不会识别出新增加的磁盘空间需要为这块新增的空间建立分区新建分区打开Linuxfdisk /dev/sda#调整磁盘分区m #进入帮助引导模式n #新增分区p
转载
2024-04-19 18:01:01
67阅读
Hadoop集群hdfs添加磁盘操作目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。hdfs现状：首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务器中对每台服务器进行添加磁盘操作：因为在Linux中，常用2种分区表：
MBR分区表（即主引导记
转载
2024-04-07 13:14:33
22阅读
HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode)NameNode 负责管理整个文件系统的元数据DataNode 负责管理用户的文件块（Block）文件会按照固定的大小（默认 128 M）切成若干文件块（Block）后分布式存储在若干台 DataNode 服务器上每一个文件块可以有多个副本，并存放在不同的 DataNode 服务器上DataNo
转载
2024-04-22 08:44:15
49阅读
最近浪尖在纠结一个现在看起来很简单的问题。现象描述建集群的时候，datanode的节点数据磁盘总共是四块磁盘做矩阵成了一个7.2TB的sdb1(data1)，两块通过矩阵做了一个3.6TB的sdc1(data2)磁盘，运维做的，历史原因。刚开始没有发现，然后集群过了一段时间，随着数据量的增加，发现集群有很多磁盘超过使用率90%告警，浪尖设置磁盘告警阈值是90%，超过阈值就会发短信或者微信告警，提醒
转载
2024-03-28 22:51:35
42阅读
HDFS就是用来存取数据的，那么当数据太多的时候存不下，我们必需扩充硬盘容量，或者换个更大的硬盘。由于它是分布式文件系统，有两种扩充HDFS集群容量的方法：横向扩容和纵向扩容横向扩容横向扩容就是往集群添加一个节点：纵向扩容纵向扩容就是往节点增加一块硬盘：步骤如下1.虚拟机添加一块20G的硬盘2.查看添加虚拟机的硬盘 这台添加的第二块硬盘 所以硬盘文件是sdc3.使用fdisk创建分区表 具体
转载
2024-03-22 20:59:15
111阅读
最近华海电脑网官方群里很多电脑爱好者讨论最近的新型产品，混合硬盘HHD: Hybrid Hard Disk(英文简称HHD)，简单来说其实混合硬盘就是把普通的HDD机械硬盘和ssd闪存集成到一个硬盘上。它结合闪存与硬盘的优势，完成HDD+SSD的工作——将小尺寸、经常访问的数据放在闪存上。这样一来不仅提高了硬盘的使用寿命，并且硬盘的稳定性也大大提升。以下小编给大家详细专业的说说混合硬盘(HHD)吧
转载
2024-03-22 14:04:56
163阅读
HDD（硬盘驱动器（Hard Disk Drive））是传统硬盘。按体积大小可以分为：3.5寸、2.5寸、1.8寸等按转数可分为5400rpm、7200rpm、10000rpm、15000rpm等按接头可以分为ATA（已淘汰）、STAT（serial ATA、笔记本台式机使用较多）、SCSI（服务器使用较多）、SAS（最新一带接口类型。传输速率3.0Gb/s）HHD（hybrid hard dri
转载
2024-04-03 12:39:27
82阅读
目录 1、特性(计划)简介2、构建程序3、使用hdfs-mount挂载HDFS hdfs-mount是一个将HDFS挂载为本地Linux文件系统的工具，使用go语言开发，不依赖libdfs和java虚拟机。它允许将远程HDFS作为本地Linux文件系统挂载，并允许任意应用程序或shell脚本以高效和安全的方式访问HDFS作为普通文件和目录。1、特性(计划)简介 高性能
使用
转载
2024-07-25 19:43:54
140阅读
高性能Mysql这本书，在电脑里面下载快半年了，一直没时间看，最终决定在9月份每天花点时间把这本书看完，在这里记录一下书中的一些知识点，便于积累吧。 第一章 Mysql架构 第一章讲的都是基础 一、Mysql逻辑架构一共有三层。 顶层服务主要处理链接处理、授权、认证等。第二层是关键包括查询解析、分析、优化、缓存和内建函数等，还有各种存储引擎提供功
一 HDFS 中心缓存背景缓存HDFS中的热点公共资源文件和短期临时的热点数据文件情况一: 公共资源文件. 这些文件可以是一些存放于HDFS中的依赖资源jar包,或是一些算法学习依赖.so文件等等.像这类的数据文件,放在HDFS上的好处是,我可以在HDFS上全局共享嘛,不用到本地机器上去依赖,而且好管理,我可以直接更新到HDFS上.但是这种场景更好的做法是把它做成distributedcache,
HDFShdfs分布式存储文件系统 c存储大量数据mapreduce 分布式计算框架拷贝进去究竟有什么用呢？ 我一个硬盘不够用了，几千块的阵列，逻辑上是一个大硬盘。 但是hdfs有点不同，分散在各个节点的数据，普通的PC机器，在任何一个节点都可以操作。实际上是很难备份的，冗余就是一种备份。我们到底的目的是进行分析计算，来指导商业行为，产生价值。避免在网上大量传输 本地化数据计算HDFS设计基础与
转载
2024-04-04 19:19:04
27阅读
时间语义谈及watermark就要先从Flink支持的时间语义说起，Flink支持三种时间语义：process time:指的系统处理对应数据时的系统时间。他是最简单的一种实现，由于不需要额外的协调，因性能最好
event time:是指数据中携带的时间，而不是数据到达的时间。因此时间的进度完全取决于数据，而不是系统时间。使用event time必须指定生成eventTime和waterm
转载
2024-07-24 13:18:27
85阅读
文章目录01 引言02 HDFS磁盘均衡2.1 为何需要磁盘均衡？2.2 磁盘均衡原理2.3 磁盘均衡的使用03 文末0
原创
2022-03-25 14:16:58
507阅读
看下hdfs的读写原理，主要是打开FileSystem,获得InputStream or OutputStream；那么主要用到的FileSystem类是一个实现了文件系统的抽象类，继承来自org.apache.hadoop.conf.Configured，并且实现了Close able接口，可以适用于如本地文件系统file://，ftp,hdfs等多种文件系统，所以呢若是自己要实现一个系统可以通
转载
2024-04-03 19:03:21
43阅读
Hadoop扩容概述Hadoop存储容量或计算能力不能满足日益增长的需求时，就需要扩容。扩容有两个方案：1) 增加磁盘2) 增加节点方案一：扩大虚拟磁盘扩大容量将虚拟的Linux关闭，扩大磁盘容量 将空间增大20G 建立分区增加空间后Linux并不会识别出新增加的磁盘空间需要为这块新增的空间建立分区新建分区打开Linuxfdisk /dev/
转载
2024-06-16 20:39:49
329阅读
