特点：高容错（多副本存储）、高吞吐（文件块大128M，减少寻址时间）、大文件（一次写入，多次读取）、支持跨平台移植；1、namenode的作用：主要存储着hdfs的元数据信息（目录INodeDirectory、文件INodeFile），比如命名空间信息和数据块在DataNode上的对应信息；元数据信息运行时主要保存在内存中，也可以持久化在磁盘成fsimage和editslog；DataNode主要
转载
2024-07-22 19:41:08
73阅读
常见的分布式文件系统有GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存 储服务。Google学术论文，这是众多分布式文件系统的起源 Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable
关于FastDFS的搭建，这里不过多的介绍，网络上的文章也很多，或者直接用docker拉取一个FastDfS，满足测试开发也是没问题的。 本文主要介绍FastDFS的原理，结合Spring Boot使用FastDFS。本文参考原理中部分参考 ，这篇文章非常全面的讲了FastDFS的配置，想了解搭建和配置的，可以去这里看看导言在生产中我们一般希望文件系统能帮我们解决以下问题，如：超大数据存储数据高
转载
2024-09-27 14:53:06
86阅读
首先说下我们的业务：我们是做第三方支付的，收单那边有很多数据，技术选型上选择了灵活方便的mysql，通过强大的分表分库中间件，我们能够轻松构建百库百表的巨大mysql集群，并且实现了不错的TPS。但是运营的瓶颈就显现出来，我们需要通过各种各样的条件来查询我们的订单交易，通过我们搭建的分表分库的mysql集群很难满足要求。ElasticSearch凭借着不错的搜索性能，完美满足了我们的业务要求，那么
转载
2024-05-21 17:42:22
47阅读
1、NFS基本概述NFS是Network File System 的缩写及网络文件系统。NFS主要功能是通过局域网让不同的主机系统之间可以共享文件或目录。NFS系统和Windows 网络共享、网络驱动器类似，只不过windows 用于局域网，NFS用于企业集群架构中，如果是大型网站，会用到更复杂的分布式文件系统 FastDFS, glusterfs, HDFS&nbs
转载
2024-02-28 20:21:57
80阅读
GPFS介绍 第一章 附录:GPFS介绍 GPFS (General ParallelFile System) 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心， GPFS 是一...
转载
2021-08-04 10:18:46
315阅读
GPFS（General Parallel File System）是IBM的一种并行文件系统，最初设计用于高性能计算环境。它提供了高可扩展性、高性能和可靠性的文件系统解决方案，使得用户可以在大规模的并行计算环境中有效地存储和管理文件。
GPFS for Linux是GPFS文件系统的一个版本，专门针对Linux操作系统进行了优化和适配。它结合了GPFS的强大功能和Linux的流行性，为用户提供
原创
2024-02-28 09:37:31
180阅读
GPFS（General Parallel File System）是IBM公司研发的一款高性能并行文件系统，常用于大规模计算集群中。它支持多个节点同时访问同一文件系统，提供高吞吐量和低延迟的数据访问效率，适用于大规模数据存储和处理工作负载。
在Linux操作系统中，GPFS为用户提供了强大的文件系统功能，使得用户可以方便地管理大规模的数据存储。通过GPFS，用户可以将多个磁盘设备组合成一个逻辑
原创
2024-02-26 13:22:21
149阅读
1.Quorum原理 GPFS使用集群机制——quorum在节点失败的情况下保证数据的一致性。 Quorum操作原则是：少数服从多数原则。也就是说，在任何节点能够挂载并且访问文件系统后，集群中的大多数节点必须能够相互通讯。当节点出现故障时，quorum需要被维护并且保证集群在线，反之，GPFS会umount已经挂载在节点上的FS，此时fs恢复发生，并
Linux GPFS是一个高性能并行文件系统，是General Parallel File System的缩写。它是IBM设计的一种高级且可靠的并行文件系统，可以在多个服务器节点上提供高性能的文件访问。GPFS在Linux系统上的应用非常广泛，特别是在大规模数据中心和超算方面。
作为一个高性能的并行文件系统，GPFS具有很多优势。首先，它支持多台服务器节点上的数据共享和并行访问，可以实现高速的数
原创
2024-03-01 10:12:05
104阅读
GPFS和Ceph是两个在分布式存储领域具有重要地位的技术。GPFS全称是General Parallel File System，是由IBM开发的一种并行文件系统，也是IBM Spectrum Scale的重要组成部分。而Ceph则是由Inktank公司开发的一种开源分布式存储系统。这两种技术在不同的领域有着广泛的应用，本文将对它们进行一些比较和分析。
首先，GPFS和Ceph在数据一致性方面
原创
2024-02-29 11:46:09
142阅读
第一章附录:GPFS介绍 GPFS (General ParallelFile System) 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。 GPF...
原创
2021-06-08 21:29:15
1633阅读
GPFS介绍 第一章 附录:GPFS介绍 GPFS (General ParallelFile System) 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服...
原创
2021-07-06 11:31:17
371阅读
第一章 附录:GPFS介绍GPFS (General ParallelFile System) 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。 GPFS
原创
2021-04-08 10:55:35
3300阅读
Ceph与GPFS：存储领域的强强联手
在当今数字化时代，数据的存储和管理已成为许多企业和组织的头等大事。为了应对日益增长的数据量和对高性能存储解决方案的需求，Ceph和GPFS等先进的存储技术应运而生。在这篇文章中，我们将探讨Ceph和GPFS之间的关系，并详细介绍它们各自的优势和应用场景。
Ceph是一个开源分布式存储系统，它通过将数据存储在多个节点上实现高可靠性和高性能。Ceph的目标是
原创
2024-01-30 23:35:30
55阅读
1.CephFs介绍Ceph File System (CephFS) 是与 POSIX 标准兼容的文件系统, 能够提供对 Ceph 存储集群上的文件访问. Jewel 版本 (10.2.0) 是第一个包含稳定 CephFS 的 Ceph 版本. CephFS 需要至少一个元数据服务器 (Metadata Server - MDS) daemon (ceph-mds) 运行, MDS daemon
转载
2024-04-16 10:09:31
68阅读
JN回滚大量edit日志导致Namenode主备切换的故障记录前言正文问题排查调度服务状态HDFS服务状态问题分析NameNode日志JN服务器主机指标JN日志故障恢复结语过程复盘思考前言集群大了，这莫名其妙的问题就多了起来；今天上午还在地铁上的时候，就接到电话说集群出问题了，电话里描述的现象就是集群任务运行出了问题，让我看看调度服务是不是异常了：看监控图表发现在8点40-50之间存在明显的任务空
转载
2024-06-20 18:23:26
65阅读
第1章 NFS介绍1.1 NFS服务内容的概述□ RPC服务知识概念介绍说明，以及RPC服务存在价值（必须理解掌握）□ NFS服务工作原理讲解（必须理解掌握）□ NFS共享文件系统使用原理讲解（必须理解掌握）□ NFS服务配罝文件exports编写格式说明（必须理解掌握）1.2 NFS是什么NFS（Network File System）即网络文件系统它的主要功能是通过网络（一般是局域网）让不同的
转载
2024-05-09 20:03:56
708阅读
本章我们来分析下常见文件系统对比分析，这里我们主要讲解NFS、GFS、NAS相关概念及区别。《一》NFS NFS 是Network File System的缩写，中文解释是网络文件系统，它是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明的读写位于远端NFS服务器上的文件，就像访问本地文件一样。 搭建方法详
转载
2024-02-29 15:05:19
1215阅读
网站缓存这个话题并不新颖，但是能否将它用好，可是一门学问，同一件工具在不同人的手中会做出不同的事情来。这里我来分享总结下我对于网站架构中缓存应用的一些看法和经验，大家有好的想法可以补充 第一：缓存的一些基本概念。 1：缓存(CACHE)与缓冲(BUFFER)的区
