注：本文主要摘录于尚硅谷大数据的学习资料，仅作学习记录，请勿用于商业用途。HDFSHDFS 写数据流程：
1 ）客户端通过
Distributed FileSystem
模块向
namenode
请求上传文件，
namenode
检查目标 文件是否已存在，父目录是否存在。 2 ）
namenode
返回
转载
2024-03-26 07:59:46
36阅读
# 数据存储科普：MongoDB与HDFS的比较与结合
在大数据时代，数据的存储和管理变得越来越重要。MongoDB和HDFS是两种流行的数据存储解决方案，它们各自有着不同的特点和适用场景。本文将介绍MongoDB和HDFS的基本概念，比较它们的优缺点，并探讨如何结合使用这两种存储系统。
## MongoDB
MongoDB是一个面向文档的NoSQL数据库，支持灵活的数据模型和复杂的查询操作
原创
2024-05-14 07:07:19
189阅读
Hadoop出来已经很多年了，以前也有想法去学习一下，不过确实那时由于自己的眼界和所处业务环境，确实没有什么场景可以用到hadoop，学习hadoop的计划也就一直搁浅了。最近打算做一个小说情感分析的程序，刚开始想的很简单，就是将小说下载下来，然后找开源框架进行分析即可。当我把爬虫写好了并找了一个网站进行爬取小说后发现，扒下来的文档结构非常混乱，而且后来简单的分词信息都难以保存。于是我想到了我最熟
转载
2023-07-12 10:08:35
72阅读
HBase和Hive的异同之处?共同点：HBase与Hive都是架构在Hadoop之上，底层存储都是使用HDFS区别： 1). Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统。HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程逻辑表，它本身不存储和计算数据，它完全依赖于HDFS
转载
2023-06-29 16:02:58
387阅读
Hbase:Hbase是Hadoop的数据库，是bigtable的实现，基于HDFSHDFS：文件系统，是gfs的实现Hive,Hbase,HDFS等之间的关系Hive：Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。HDFS:HDFS是GFS的一种实现，他的完整名字
转载
2023-05-29 15:59:54
723阅读
HBase:作为数据存储，捕获来自于各种数据源的增量数据。例如，这种数据源可能是网页爬虫，可能是记录用户看了什么广告和多长时间的广告效果数据，也
原创
2022-02-13 16:26:46
738阅读
Mongodb和Mysql的区别MongoDB(文档型数据库)：提供可扩展的高性能数据存储一、基于分布式文件存储高负载情况下添加更多节点，可以保证服务器性能将数据存储为一个文档二、比较1、稳定性2、索引，索引放在内存中，能够提升随机读写的性能。如果索引不能完全放在内存，一旦出现随机读写比较高的时候，就会频繁地进行磁盘交换，MongoDB的性能就会急剧下降3、占用的空间很大，因为它属于典型空间换时间
转载
2023-07-27 21:41:44
247阅读
分布式系统分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存
转载
2024-04-07 14:15:24
72阅读
HBase:作为数据存储，捕获来自于各种数据源的增量数据。例如，这种数据源可能是网页爬虫，可能是记录用户看了什么广告和多长时间的广告效果数据，也可能是记录各种参数的时间序列数据FaceBook使用HBase的计数器来计量人们Like特定网页的次数。内容原创人和网页主人可以得到近乎实时的、多少用户Like他们网页的数据信息。他们可以因此更敏捷地判断应该提供什么内容。Facebook 为此创建了一个...
原创
2021-08-09 22:31:30
1014阅读
# HDFS导入MongoDB的指南
作为一名开发者，在数据处理和存储的工作中，HDFS（Hadoop Distributed File System）和MongoDB都是非常常用的工具。我们的目标是将HDFS上的数据导入到MongoDB数据库中。下面将会通过一系列步骤来进行说明，并通过相应的代码示例来帮助你理解每一步的实现方法。
## 流程概述
以下是整个HDFS导入MongoDB的工作流
有需求就有技术支持。数据量越来越多。在一个操作系统管辖的范围存在不了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此就迫切需要一种系统来管理多态机器上的文件，这就是分布式文件管理系统。是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多用户分享文件和存储空间。通透性。让司机上是通过网络来访问文件的动作，由程序与用户来看，就是像访问本地磁盘一样，容错性。即使系统
转载
2024-02-20 21:12:25
85阅读
目录什么是Ceph？简介什么是块存储、文件存储和对象存储以及区别？Ceph存储架构Ceph数据的存储Ceph开发如何入门部署实例MinIO和cephceph和GFS（GlusterFS）、MFS、Ceph、Lustreceph和hadoopceph 文档什么是Ceph？简介 Ceph则是一个统一分布式存储系统（统一：同时支持块存储、文件存储和对象存储），具有优异的性能、可靠性和可扩展性。Ceph底
转载
2024-04-22 20:48:07
105阅读
sqoop作为很常用的数据同步工具，用于RDBMS和HDFS的数据迁移，但是不支持NoSql，比如说MongoDB，那如果我们需要同步mongoDB的数据到hive该怎么处理呢？下面提供下我的思路：1.我先去查询了一下mongoDB可以导出数据为CSV格式或者json格式的文件，CSV是以逗号分隔的，这样可以直接把这个文件put到hdfs中然后load到hive，但是有个问题就是：如果数据本身就自
转载
2023-08-04 11:36:43
78阅读
HDFS和Ceph是两个常见的分布式存储系统，它们都被广泛应用于大数据领域。虽然它们都具有存储和管理大规模数据的能力，但在设计理念、架构和应用场景上有一些明显的区别。
首先，HDFS是Apache Hadoop生态系统的一部分，是一种基于主从架构的分布式文件系统。它由一个NameNode和多个DataNode节点组成，NameNode负责元数据管理，而DataNode节点负责实际数据存储。HDF
原创
2024-03-07 11:56:45
169阅读
优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统Ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展Ceph 俨然已经发展为一整套存储解决方案，上层能够提供对象存储(RGW)、块存储(RBD)和CephFS，可以说是一套适合各种场景，非常灵活，非常有可发挥空间的存储解决方案组件基本组件Monitor：一个 Ceph 集群需要多个 Monitor 组成的小集群
转载
2024-07-16 11:03:38
124阅读
Hadoop一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（lo
【FastDFS】FastDFS简介以及基本使用1. 分布式文件系统简介2. FastDFS简介3. FastDFS架构4. 上传与下载流程5. Java客户端 1. 分布式文件系统简介分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。通俗来讲：传统文件系统管理的文件就存储在本机。分布式文件系统
转载
2024-04-30 16:46:46
55阅读
## HBase与HDFS的区别
### 简介
Hadoop是一个开源的分布式计算框架，由Hadoop Distributed File System（HDFS）和Hadoop MapReduce组成。HDFS是Hadoop的分布式文件系统，而HBase是建立在HDFS之上的分布式数据库。
本文将介绍HBase和HDFS之间的区别，并提供一些代码示例来说明它们之间的差异。
### HDFS
原创
2023-09-05 12:25:09
200阅读
软件简介Apache ORC 文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低Hadoop数据存储空间和加速Hive查询速度。ORC(OptimizedRC File)存储源自于RC(RecordColumnarFile)这种存储格式，RC是一种列式存储引擎，对schema演化(修改schema需要重新生成数据)支持较差，而ORC
转载
2024-04-17 05:39:18
16阅读
文章目录一、大数据技术生态体系二、集群规划2.1 群启集群要求三、HDFS概述及优缺点3.1 概述3.2 HDFS的优点3.3 HDFS的缺点3.4 HDFS组成架构3.5 HDFS文件块大小四、HDFS的API操作4.1文件上传4.2 文件夹删除4.3 HDFS文件详情查看4.4 HDFS文件和文件夹判断五、HDFS的读写操作5.1 HDFS的写操作（文件上传）5.2 HDFS的读操作（文件下
转载
2023-08-09 22:15:37
149阅读
