一，HDFS副本块数量的配置 一般默认存储三个文件快，即默认备份两个数据块。如果要修改备份数据块，可以载可以在hdfs-site.xml进行修改，如果修改一台虚拟机配置，其余也需要进行修改除了配置文件外，我们还可以在上传文件的时候，临时决定被上传文件以多少个副本存储。 hadoop fs -D dfs.r
转载
2024-05-31 12:48:49
19阅读
C++11标准新增加了一种存储方式----线程存储。C++11目前有四种管理数据内存的方式：自动存储静态存储动态存储线程存储自动存储在函数内部定义的常规变量为自动变量，使用自动存储。自动变量：指在定义它们的时候才创建，在定义它们的函数返回时系统回收变量所占存储空间。对这些变量存储空间的分配和回收是由系统自动完成的。一般情况下，不作专门说明的局部变量，均是自动变量。自动变量也可用关键字a
文件的存储文件的存储主要有以下两种： 连续空间存放 非连续空间存放连续空间存放方式 顾名思义，文件存放在磁盘连续的物理空间中，这种存储方式的读取效率很高。存储时文件头里需要指定起始块的位置和长度。 缺点：有磁盘空间碎片、文件长度不易扩展。非连续空间存储方式 非连续空间存储方式分为链表方式和索引方式。链表方式 链表的方式存储是离散的、不连续的,因此可以消除磁盘碎片，同时文件的长度可以动态扩展。根据的
转载
2024-05-14 21:27:48
53阅读
三种存储类型比较-文件、块、对象存储 对象存储: 也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL和其他扩展，如七牛、又拍、Swift、S3块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EBS，青云
转载
2024-06-04 21:54:42
68阅读
Kudu最初由Cloudera开发，但现在已经开始作为Apache的项目孵化。定位是OLAP数据库，说白了就是可以随机读但主要是针对顺序读做优化。所以在小米也是计算组搞而非存储组。数据的模型个人觉得很像Cassandra的伪SQL——结构化的数据、SQL类似的语法但本质上还是NoSQL，可以设定是Hash还是range或者两者结合来做partition分配到若干个tablet，每个tablet用r
Mongodb和Mysql的区别MongoDB(文档型数据库)：提供可扩展的高性能数据存储一、基于分布式文件存储高负载情况下添加更多节点，可以保证服务器性能将数据存储为一个文档二、比较1、稳定性2、索引，索引放在内存中，能够提升随机读写的性能。如果索引不能完全放在内存，一旦出现随机读写比较高的时候，就会频繁地进行磁盘交换，MongoDB的性能就会急剧下降3、占用的空间很大，因为它属于典型空间换时间
转载
2023-07-27 21:41:44
247阅读
一、HDFS基础架构1、HDFS特点：水平扩展、高容错性、廉价硬件、开源生态系统2、Hadoop生态圈1）、分布式存储系统（HDFS），2）、资源管理框架（YARN），3）、批处理框架（MapReduce、Pig），4）、数据仓库（Hive），5）、NoSQL系统（HBase、Drill），6）、OLAP系统（Impala、Presto、Spark(SQL)），7）、实时流计算框架（Storm、S
转载
2024-08-23 15:02:15
58阅读
文章目录前言一、hdfs的优点二、hdfs的缺点三、hdfs的组成架构1）NameNode（nn）2）DataNode（nn）3）Client4）Secondary NameNode四、hdfs的block、packet、chunk1）block五、hdfs的block的大小为什么设置为128M六、hdfs的读流程七、hdfs的写流程八、Secondary NameNode八、Hadoop HA
转载
2024-03-18 14:05:45
71阅读
我与HDFS那些事儿(一)HDFS的数据存储闲话不多说，就来聊聊这些年与HDFS的那些事儿，我们首先来聊聊HDFS的数据存储。HDFS正是先有了数据的存储，才有后续的写入和管理等操作。数据存储包括两块： 1.内存存储；内存存储是一种十分特殊的存储方式，将会对集群数据的读写性能带来不小的提升。 2.异构存储；异构存贮能够帮助我们更加合理的把数据存到该存的地方。HDFS内存存储HDFS的内存存储与HD
转载
2023-10-22 08:00:44
43阅读
模式概念：单击模式（Standalone）：单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻
转载
2024-06-14 22:10:21
25阅读
HDFS是分布式文件系统的其中一种（目前用得最广泛的一种）
目录一、HDFS介绍二、HDFS学习2.1 HDFS备份2.2 NameNode的一些事小结2.3 学点DataNode缺点一、HDFS介绍随着数据量越来越大，在一台机器上已经无法存储所有的数据了，那我们会将这些数据分配到不同的机器来进行存储，但是这就带来一个问题：不方便管理和维护所以，我们就希
转载
2024-08-29 08:49:00
20阅读
1、图示生态架构 2、从低往上学HDFS直译分布式文件系统，相当于windows机器上的视频、图片、文档等都是存到硬盘上，硬盘再需要做一些格式化。在Hadoop上需要存储大数据，而且是存储在各个不同的机器上的。所以HDFS也就是一个分布式系统（分布式意思就是一个集群里面有很多台机器）。HDFS作为一个最基本的文件系统就是存储大数据用的。Hbase（Key-Val）列存取数据库，可以理解为
转载
2024-02-26 20:43:22
103阅读
概述Hadoop技术体系中，hdfs是重要的技术之一，而真实的数据都存储在datanode节点之上，DataNode 将数据块存储到本地文件系统目录中，而每个datanode节点可以配置多个存储目录（可以是不同类型的数据硬盘），hdfs-site.xml （dfs.datanode.data.dir 参数）。一般的hadoop集群datanode节点会配置多块数据盘，当我们往
转载
2024-04-18 19:04:15
54阅读
HDFS的学习笔记HDFS是Google公司的 GFS 论文思想的实现，它有NameNode(名称节点)、DataNode(数据节点)、SecondaryNameNode(第二名称节点)组成。GFS 是一个可扩展的分布式文件系统的设计思想，用于设计针对大型的、分布式的、对大量数据进行访问的文件系统。1. HDFS简介1.1 HDFS 概述HDFS是基于流数据访问模式的分布式文件系统，其设计建立在：
转载
2024-02-22 14:03:43
54阅读
1. RPC框架的概念RPC（Remote Procedure Call）–远程过程调用，通过网络通信调用不同的服务，共同支撑一个软件系统，微服务实现的基石技术。使用RPC可以解耦系统，方便维护，同时增加系统处理请求的能力。上面是一个简单的软件系统结构，我们拆分出来用户系统和订单系统做为服务存在，让不同的站点去调用。只需要引入各个服务的接口包，在代码中调用RPC服务就跟调用本地方法一样，我刚接触到
HDFS(The Hadoop Distributed File System) 是最初由Yahoo提出的分布式文件系统，它主要用来：1）存储大数据2）为应用提供大数据高速读取的能力重点是掌握HDFS的文件读写流程，体会这种机制对整个分布式系统性能提升带来的好处。HDFS工作流程与机制⚫ HDFS集群角色与职责⚫ HDFS写数据流程（上传文件）⚫ HDFS读数据流程（下载文件）官方架构图主角色：n
转载
2023-09-14 08:18:27
148阅读
经过了痛苦的一段时间，现在终于发现了，自己原来也是可以走进大数据的殿堂的，不说别的，就拿命令行来说，个人是比较上心的，比如有一些命令总是忘记，就会一遍一遍的找到练习，然后再重复之前的操作，来来回回不下几十次。  
转载
2024-04-03 10:20:44
92阅读
# 数据存储科普：MongoDB与HDFS的比较与结合
在大数据时代，数据的存储和管理变得越来越重要。MongoDB和HDFS是两种流行的数据存储解决方案，它们各自有着不同的特点和适用场景。本文将介绍MongoDB和HDFS的基本概念，比较它们的优缺点，并探讨如何结合使用这两种存储系统。
## MongoDB
MongoDB是一个面向文档的NoSQL数据库，支持灵活的数据模型和复杂的查询操作
原创
2024-05-14 07:07:19
189阅读
Hadoop出来已经很多年了，以前也有想法去学习一下，不过确实那时由于自己的眼界和所处业务环境，确实没有什么场景可以用到hadoop，学习hadoop的计划也就一直搁浅了。最近打算做一个小说情感分析的程序，刚开始想的很简单，就是将小说下载下来，然后找开源框架进行分析即可。当我把爬虫写好了并找了一个网站进行爬取小说后发现，扒下来的文档结构非常混乱，而且后来简单的分词信息都难以保存。于是我想到了我最熟
转载
2023-07-12 10:08:35
72阅读
HDFS简介：活动在集群上并支持以流式数据访问模式来存取超大文件。存储设计是把海量数据部 署在价格低廉的节点上，具有高容错性和高吞吐量特性。HDFS的设计首要是针对超大文件存储，而对于小的文件访问和存储速度反而会降低。HDFS体系结构：HDFS集群有两类节点并以管理者-工作者模式（Master-Slave）运行，一个管理者和多个工作者。一个HDFS集群是由一个名字节点（NameNode）和若干数据
转载
2023-09-24 09:56:33
123阅读
