注：本文主要摘录于尚硅谷大数据的学习资料，仅作学习记录，请勿用于商业用途。HDFSHDFS 写数据流程：
1 ）客户端通过
Distributed FileSystem
模块向
namenode
请求上传文件，
namenode
检查目标 文件是否已存在，父目录是否存在。 2 ）
namenode
返回
转载
2024-03-26 07:59:46
36阅读
Hadoop培训内容：HDFS数据组织，1.数据块，2.Staging，3.流水线式的复制1.数据块HDFS最适合的应用场景是处理大数据集合，同时这些应用多是一次写入多次读取，并且读的速度要满足流式读，即write-once-read-many的语义。一个典型的Block大小是64MB，因此文件总是按照64MB切分成Chunk，每个Chunk存储于不同的DataNode服务器中。2.Staging
NoSQL的基本概念NoSQL(Not only SQL):不仅仅是SQL,泛指非关系型数据库，是对不同于传统的关系型数据库的数据库管理系统的统称。用于超大规模数据的存储，这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。为什么使用NoSQL如今我们可以通过第三方平台（如：百度,QQ等）可以很容易的访问和抓取数据。用户的个人信息，社交网络，地理位置，用户生成的数据和用户操作日志已经成
# HBase和MongoDB的区别
HBase和MongoDB是两种非关系型数据库（NoSQL）的代表。虽然它们都具有高可扩展性和高性能的特点，但在数据模型、数据一致性和查询语言等方面存在一些区别。
## 数据模型
HBase是基于列族（column family）的数据模型，数据被组织成行（row）和列族（column family）的形式。每个列族可以包含任意数量的列。HBase通过行
原创
2023-07-22 11:28:20
153阅读
一、数据库的概念
数据库：DataBase
按照一定数据结构来组织、存储和管理数据的仓库。存储在一起的相关数据的集合。
数据库管理系统：DataBase Management System DBMS
为管理数据库而设计的一个电脑软件
关系数据库：建立在关系模型基础上的数据库 Sqlserver、MySQL、Oracle、Access
非关系型数据库：不同点：不使用SQL作为查询语言。Redis、M
转载
2023-11-28 14:09:52
37阅读
本文涉及到 MongoDB 与 Elasticsearch 两大阵营，可能会引起口水之争，仅代表个人经验之谈，非阵营之说。我将围绕如下两个话题展开：· 为什么要从 MongoDB 迁移到 Elasticsearch？· 如何从 MongoDB 迁移到 Elasticsearch？ MongoDB 与 Elasticsearch 热度排名现状背景MongoDB 本身定位与关
Canal+Kafka实现mysql与Redis数据同步一、Canal简介canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量
转载
2024-02-16 10:35:51
60阅读
分布式系统分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存
转载
2024-04-07 14:15:24
72阅读
hadoop(一HDFS)介绍狭义上来说:hadoop指的是以下的三大系统:HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理但是hadoop可不止这三个系统广义上来说:hadoop指的是大数据的一个生态圈架构模型1.X版本的架构NameNode:集群的主节点,主要是管理集群中的各种元数据()secondaryN
转载
2024-04-04 09:54:25
51阅读
一.概述 HBase与MapReduce集成时，有以下三种情形HBase作为数据流向。HBase作为数据源。HBase作为数据源和数据流向。 阅读本文前，最好先了解http://zy19982004.iteye.com/blog/2068112
转载
2023-05-22 13:23:09
52阅读
1. 简介HDFS：Hadoop分布式文件系统，主要用来解决海量数据的存储问题，通过统一的命名空间——目录树来定位文件。在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如何保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也称
转载
2024-04-25 14:52:17
470阅读
指标适合类型文件分布系统性能复杂度FUSEPOSIX备份机制通讯协议接口社区支持去重开发语言FastDFS4KB~500MB小文件合并存储不分片处理很高简单不支持不支持组内冗余备份ApiHTTP国内用户群C语言TFS所有文件小文件合并，以block组织分片复杂不支持不支持Block存储多份,主辅灾备APIhttp少C++MFS大于64K分片存储Master占内存多支持支持多点备份动态冗余使用fus
转载
2024-04-19 10:00:18
29阅读
elastic search与mysql的数据同步go-mysql-elasticsearch插件简介go-mysql-elasticsearch是用于同步mysql数据到ES集群的一个开源工具，项目github地址：https://github.com/siddontang/go-mysql-elasticsearchgo-mysql-elasticsearch的基本原理是：如果是第一次启动该程
目录什么是Ceph？简介什么是块存储、文件存储和对象存储以及区别？Ceph存储架构Ceph数据的存储Ceph开发如何入门部署实例MinIO和cephceph和GFS（GlusterFS）、MFS、Ceph、Lustreceph和hadoopceph 文档什么是Ceph？简介 Ceph则是一个统一分布式存储系统（统一：同时支持块存储、文件存储和对象存储），具有优异的性能、可靠性和可扩展性。Ceph底
转载
2024-04-22 20:48:07
105阅读
有需求就有技术支持。数据量越来越多。在一个操作系统管辖的范围存在不了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此就迫切需要一种系统来管理多态机器上的文件，这就是分布式文件管理系统。是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多用户分享文件和存储空间。通透性。让司机上是通过网络来访问文件的动作，由程序与用户来看，就是像访问本地磁盘一样，容错性。即使系统
转载
2024-02-20 21:12:25
85阅读
数据存储：磁盘（共享）→SAN、NAS、DAS（专门将数据存储于磁盘阵列） →分布式存储架构（HDFS)1、SAN、NAS、
转载
2024-03-24 13:12:55
106阅读
一、介绍FastDFS(最快的分布式文件系统)是淘宝开发的一款轻量级分布式文件系统，采用C语言开发，目前只提供了C、java、PHP等语言的API。主要用它来对文件进行管理，功能包括文件同步、文件访问（上传和下载），解决了大容量存储和负载均衡的问题。类似的分布式文件系统还有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。二、整体架构FastDFS服务端有两个角色：跟踪器（tracker）
转载
2024-08-11 14:05:52
635阅读
1.HBase 和 HDFS 关系HDFS是Hadoop分布式文件系统。 HBase的数据通常存储在HDFS上。HDFS为HBase提供了高可靠性的底层存储支持。 Hbase是Hadoop database即Hadoop数据库。它是一个适合于非结构化数据存储的数据库，HBase基于列的而不是基于行的模式。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用
转载
2023-08-30 21:33:21
728阅读
文章目录一、大数据技术生态体系二、集群规划2.1 群启集群要求三、HDFS概述及优缺点3.1 概述3.2 HDFS的优点3.3 HDFS的缺点3.4 HDFS组成架构3.5 HDFS文件块大小四、HDFS的API操作4.1文件上传4.2 文件夹删除4.3 HDFS文件详情查看4.4 HDFS文件和文件夹判断五、HDFS的读写操作5.1 HDFS的写操作（文件上传）5.2 HDFS的读操作（文件下
转载
2023-08-09 22:15:37
149阅读
软件简介Apache ORC 文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低Hadoop数据存储空间和加速Hive查询速度。ORC(OptimizedRC File)存储源自于RC(RecordColumnarFile)这种存储格式，RC是一种列式存储引擎，对schema演化(修改schema需要重新生成数据)支持较差，而ORC
转载
2024-04-17 05:39:18
16阅读
