HDFS（Hadoop Distributed File System）：分布式文件系统（为文件组织位置，格式化硬盘，简而言之就是让数据能对号一一入座的一种方法，作为Hadoop的基础存储系统，实现了一个分布式，高容错，可线性扩展的文件系统为什么需要引进HDFS？因为传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，
转载
2024-03-20 09:37:44
17阅读
设计理念： 1、超大文件 2、流式数据访问 3、商用普通硬件不适合场景： &n
转载
2024-05-25 13:18:00
27阅读
简介HDFS(Hadoop Distributed File System) Hadoop分布式文件系统。是根据google发表的论文实现的。论文为GFS( Google File System ) Google文件系统。（中文，英文）HDFS有很多特点：保存多个副本，且提供容错机制，副本丢失或宕机自动恢复、自动切换。副本默认存3份。可以运行在廉价的机器上。适合大数据的处理。多大？多小？HDFS默
5.3HDFS 的高级特性5.3.1 HDFS 安全模式 safe mode定义：安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。HDFS 正常运行的时候，安全模式一定是off（关闭状态），是HDFS 的一种自我保护，如果HDFS 处于安全模式下，则表示 HDFS 是只读的状态。作用：检查数据块的副本率当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完
转载
2024-03-26 17:58:06
137阅读
目的HDFS 集群中经常配置的 3 个副本是很占用空间的 - HDFS中的默认 3x因此，一种自然的改进是使用 Erasure Coding (EC) 来代替复制，它提供了相同级别的容错能力，但存储空间要小得多。在典型的 Erasure Coding (EC) 设置中，存储开销不超过50%。EC 文件的复制因子是无意义的。它总是 1，不能通过 -setrep 命令更改。背景在存储系统中，EC 最显
转载
2024-07-15 12:54:51
53阅读
一、基础环境三台虚拟机，使用CentOS 6.5 版本Linux系统二、SSH免密登录对于集群来说，需要用我们的NameNode主节点来控制所有的DataNode开启节点服务，所以我们的方式就是用NameNode节点连接其他的DataNode节点，输入开启命令即可。 但是一天机器连接另外一台机器需要输入密码，为解决输入密码的麻烦，我们就需要用到ssh免密登录 SSH免密登录的原理这里不说，自行
转载
2024-07-07 17:38:56
26阅读
Block概念磁盘有一个Block size的概念，它是磁盘读/写数据的最小单位。构建在这样的磁盘上的文件系统也是通过块来管理数据的，文件系统的块通常是磁盘块的整数倍。文件系统的块一般为几千字节(byte)，磁盘块一般为512字节(byte)HDFS也有Block的概念，但它的块是一个很大的单元，默认是64MB。像硬盘中的文件系统一样，在HDFS中的文件将会按块大小进行分解，并作为独立的单元进行存
转载
2024-03-05 19:42:43
97阅读
1.bin/hdfs namenode -format** 注意事项1.在配置好了配置文件之后，首次启动之前，做初始化操作 2.在后续启动的时候，不需要再初始化 3.初始化的一些影响一.初始化操作@_为什么要初始化，它到底做了哪些事情？答：初始化的时候，会新建文件夹，dfs/name，文件夹的名字是dfs，在他下面会新建一个文件夹，名字是name××××××××××××××××××××××××××
转载
2024-02-23 11:23:42
121阅读
先上图ha模式在hdfs1.x的时候，主要组件有namenode、secondnode、datanode，但是正如我们知道的，namenode的稳定性决定了整个系统的稳定性，这是存在的一大问题，所以在2.x版本中添加了如下如见之前的一个namenode成了两个，但是这两个namenode被赋予了一个状态，active/standby，意思很明显，一主一备，也就是说，在2.x版本中，也只能有一个na
转载
2024-04-17 15:24:11
34阅读
第二部分：HDFS第三部分：MapReduce第四部分：项目案例实战《Hadoop》Hadoop常用命令命令说明jps查看进程service iptables stop关闭防火墙start-all.sh启动Hadoop服务1、Hadoop介绍Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的
转载
2024-03-25 16:17:16
75阅读
HDFS的JAVA API操作1. HDFS获取文件系统/**
* 打印本地hadoop地址值
* IO的方式写代码
*/
@Test
public void intiHDFS() throws IOException {
//F2 可以快速的定位错误
// alt + enter自动找错误
//1.创建
转载
2024-03-19 20:54:40
50阅读
HDF-EOS数据格式介绍 HDF（Hierarchy Data Format ）数据格式是美国伊利诺伊大学国家超级计算应用中心（NCSA ，National Central for Super computing Applications）于1987 年研制开发的一种软件和函数库，用于存储和分发科学数据的一种自我描述、多对象的层次数据格式，主要用来存储由不同计算机平台产生的各种类型科学数据，
转载
2024-02-22 11:56:57
39阅读
HDFS中的块大小默认为64MB，为什么说它如此之大，这是与磁盘块相比得出的。所以在了解HDFS块之前，我们需要了解下磁盘上的块。磁盘块每个磁盘都有默认的数据块大小，这是磁盘进行数据读写的最小单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块，该文件系统块的大小可以是磁盘块的整数倍。文件系统块一般为几千字节，而磁盘块一般为512字节。文件系统块大小对于需要读写文件的文件系统用户来说
转载
2024-02-28 09:29:59
74阅读
1.HDFS概述 ===============================================================================================================2-HDFS的namenode和datanode =====================
转载
2024-05-31 22:48:50
4阅读
标题大数据特点知道Hadoop重要点我Htdoop下载注意这里选择hadoop-2.6.0-cdh5.7.0 后面下载其他的都得2.6.0要配套分布式文件系统HTFSHDFS环境搭建使用CDH版的Hadoop搭建HDFS环境[在 Linux 虚拟机中手动安装或升级 VMware Tools](https://docs.vmware.com/cn/VMware-Workstation-Pro/12
转载
2024-03-25 12:11:56
281阅读
HDFS现况这些年来，各种框架，各种计算，各种应用情景不断的推陈出新，让人眼花缭乱，但大数据存储依然是HDFS。为什么 HDFS 的地位如此稳固呢？在整个大数据体系里面，最宝贵、最难以代替的资产就是数据，大数据所有的一切都要围绕数据展开。HDFS 作为最早的大数据存储系统，存储着宝贵的数据资产，各种新的算法、框架要想得到人们的广泛使用，必须支持 HDFS 才能获取已经存储在里面的数据。所以大数据技
转载
2024-02-27 10:37:49
53阅读
在ElasticSearch里面备份策略已经比较成熟了目前在ES5.x中备份支持的存储方式有如下几种： 1. fs //本地挂载的盘
2. url //网络协议存储支持http,https,ftp
3. repository-s3 //亚马逊
4. repository-hdfs //HDFS
5. repository-azure //微软
6. repository-gcs //
转载
2024-07-30 14:25:29
49阅读
概述：hdfs是用来做分布式存储的系统。结构： hdfs使用的也是主从结构，主节点叫NameNode，从节点叫DataNode。存储格式： hdfs会对存储的数据进行切块（block），以block的形式进行存储。备份： hdfs会对存入其中的block进行备份（副本），HDFS中默认的副本策略是3，即需要复制2次，加上原来的副本构成3个副本 。HDFS提供了一套类似于Linux的文件系统，即仿照
转载
2023-10-16 12:58:23
720阅读
上课时和老师讨论到的一个问题，这里是讨论后记录下来的结果，因为网上也很少查到相关讨论这个话题的内容，所以我也不肯定这是否完全是原因，但经仔细思考，下面的几点确实有其存在的合理性在HDFS里面，data node上的块大小默认是64MB(或者是128MB或256MB)问题: 为什么64MB(或128MB或256MB)是最优选择？为什么不能远少于64MB(或128MB或256MB) （普通文件系统的数
转载
2024-03-15 16:12:23
113阅读
前言由于项目中，需要统计每个业务组使用的计算机资源，如cpu，内存，io读写，网络流量。所以需要阅读源码查看hadoop的默认counter。MapReduce Counter可以观察MapReduce job运行期的一些细节数据，Counter有"组group"的概念，用于表示逻辑上相同范围的所有数值。 cpu 如何衡量mapreduce的任务的计算量呢，如果按照任务的运行时
转载
2024-02-13 12:45:59
59阅读
