党志强的博客_GlusterFS转载博文

深入理解GlusterFS之数据均衡

GlusterFS是一个免费的开源分布式文件系统，具有无中心节点、堆栈式设计、全局统一命名空间、高可用、高性能和横向扩展等特点，在业界被广泛使用。本文主要介绍GlusterFS的数据均衡功能（即rebalance），内容涉及数据均衡的产生背景、使用场景、基本原理、程序实现剖析、操作命令实践、存在的问题以及需要优化的地方等，希望能

GlusterFS

转载 2020-02-22 21:26:58 2380 阅读

深入理解GlusterFS之POSIX接口

（作者：林世跃@TaoCloud）FUSE是用户空间的文件系统接口，FUSE内核模块为普通应用程序与内核虚拟文件系统VFS的交互提供了一个桥梁。基于FUSE用户空间模块，开发人员可以不必了解VFS内核机制就能快速便捷地开发POSIX兼容的文件系统交互接口。本文主要介绍GlusterFS基于FUSE的POSIX文件系统接口的实现机制和工作原理，给出通过修改FUSE读写数据块大小提升大I/O带宽性能的

POSIX

GlusterFS

fuse

转载 2017-08-27 19:26:00 6921 阅读

NFS-Ganesha源代码分析

NFSv4简要概述NFS这个协议(NFSv2)最初由Sun Microsystems在1984年设计提出，由于存在一些不足，因此在随后由几家公司联合推出了NFSv3。到了NFSv4时，开发完全由IETF主导，设计目标是：– 提高互联下的NFS访问和性能– 提供安全性– 更强的跨平台操作– 方便后期扩展我们可以看到NFSv4在缓存能力、扩展性、高可用性方面取得了很大的突破，放弃了之前版本的无状态性，

nfs-ganesha

转载 2017-08-27 19:22:23 10000+阅读

GlusterFS企业级功能之EC纠删码

（作者：杨阳@TaoCloud）在这个数据爆炸的时代，很多行业不得不面临数据快速增长的挑战，为了应对呈爆炸式增长态势的数据量，构建大规模的存储系统成了一种普遍的应用需求。但数据是如此重要，如何保证存储可靠性、数据可用性成了大规模存储系统的难点和要点。数据冗余是保障存储可靠性、数据可用性的最有效手段，传统的冗余机制主要有副本（Replication）和纠删编码（Erasure Code，以下简称纠删

GlusterFS

EC纠删码

转载 2017-05-11 18:10:40 9092 阅读

GlusterFS基础知识

一、什么是GlusterFS glusterfs是一个横向扩展的分布式文件系统，就是把多台异构的存储服务器的存储空间整合起来给用户提供统一的命名空间。用户访问存储资源的方式有很多，可以通过NFS，SMB，HTTP协议等访问，还可以通过gluster本身提供的客户端访问。二、典型部署拓扑图三、概念和算法1、Trusted Storage Pool 一堆存储节点的集

glusterfs

转载精选 2015-05-22 11:26:57 3111 阅读

GlusterFS的分布式锁

“Glusterfs锁，并没有中央锁服务器的概念。它可以使用一个或多个节点作为锁管理节点，而底层直接使用系统上的锁机制，所以本身并不需要作过多的工作。它需要保证的是，锁的事务性，即要么锁成功，要么不锁。对于多个锁节点，这个尤其重要，必须所有节点都锁上，才是加锁成功。不能一个节点加锁成功，而其他节点不成功，这样容易引起死锁。”GlusterFS锁由记录锁构成，即通过fcntl实现，可对文件的某一区域

转载精选 2015-02-04 14:53:42 1883 阅读

Glusterfs hacker guide（三）

1 GlusterFS Translator API 21.1 Introduction Before we dive into the specifics of the API, it's important to understandtwo things about the context in which it exists. The f

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:05:30 1593 阅读

Glusterfs hacker guide（二）

1 GlusterFS Translator API Translators are one of the core concepts of GlusterFS, and are consideredby some to be the feature most clearly differentiating it from otherwisesimilar

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:03:58 1044 阅读

Glusterfs hacker guide（一）

1 Translator 101 Lesson1.1 Translator 101 Lesson 1: Setting the Stage This is the first postin a series that will explain some of the details of writing a GlusterFStranslat

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:02:00 1645 阅读

GlusterFS初始化过程分析

其实整个glusterfs的初始化过程就是这4个进程（gluster、glusterd、glusterfs和glusterfsd）的初始化过程，下面就详细说明下这4个进程的初始化过程。整个glusterfs的代码目录结构截图如下：图3：一、gluster进程的初始化过程：gluster作为一个cli命令执行工具，初始化代码位于glusterfs/cli/Src/cli.c的main函数里面，具体初

分析

glusterfs

初始化过程

转载精选 2014-12-24 18:35:00 4397 阅读

GlusterFS整体分析

首先，熟悉整个业务流程前先了解下glusterfs的几个程序功能以及相互之间的关系！gluster ：cli的命令执行工具，负责将glusterfs的请求传递给glusterd进程来执行；大家安装后glusterfs后，执行gluster就会进入到该命令执行工具了；glusterd：管理daemon进程，同时负责接收gluster发送过来的请求并执行相应的操作，比如：调用glusterf

glusterfs

整体架构

转载精选 2014-12-24 18:33:23 1251 阅读

Gluster术语表

Xlator=translator: glusterfs模块的代名词Brick :存储目录是Glusterfs的基本存储单元，由可信存储池中服务器上对外输出的目录表示。存储目录的格式由服务器和目录的绝对路径构成，具体如下：SERVER:EXPORT.例如：myhostname:/exports/myexportdir/Volume :卷是存储目录的逻辑组合。大部分gluster

术语表

glusterfs

转载精选 2014-12-24 18:31:42 754 阅读

glusterd中的状态机浅析

当RPC请求到达Glusterd守护进程后，它会根据rpcsvc_actor_t gd_svc_cli_actors[] 数组来选择相应的处理函数。一般函数名为glusterd_handle_XXX 。这类函数一般负责从xdr中提取出请求数据，比如卷名，主机名等等。然后调用glusterd_op_begin 或者其他函数向请求队列里面注入事件(inject event)。gluste

状态机

glusterfs

转载精选 2014-12-24 18:28:54 1213 阅读

图说DHT

dht-diskusage.c 它包含dht中关于磁盘空间的获取与控制相关函数。图片中箭头代表数据流，其他是调用流。图片中的核心数据是conf->du_stats, 图片左半部分的函数负责获取数据存入du_stats结构体，而右半部分函数使用du_stats判断subvol是否可以再存放文件。 dht-rename.c&nb

dht

glusterfs

转载精选 2014-12-24 18:27:50 828 阅读

GlusterFS社区开发流程

Glusterfs开源社区使用 Git + Gerrit + Jenkins的开发流程。 RegisterSign up for an account at http://review.gluster.org by clicking 'Register' on the right-hand top. You can use yourgmail login a

glusterfs

社区开发

转载精选 2014-12-24 18:25:28 1116 阅读

Cool User File Systems: GlusterFS

One the coolest file systems in User Space has got to be GlusterFS. It has a very unique architecture that allows it to be configured for specific storage requirements and scenarios. It can be used as

介绍

glusterfs

转载精选 2014-12-24 18:23:59 939 阅读

GlusterFS 隐藏参数说明

OptionDefault ValueDescriptionAvailable Optionsauth.allow* (allow all)被允许访问的客户端其他的拒绝192.168.1.*auth.rejectNONE (reject none)被拒绝的客户端其他的允许192.168.2.*cluster.min-free-disk10% 最小空余硬盘空间百分比cluster.min-

说明

glusterfs

隐藏参数

转载精选 2014-12-24 15:02:42 10000+阅读 1收藏

Glusterfs目录ls性能优化方案分析

目的和优化思路讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输fuse readdirpluscentos 6.4最新内核，支持fuse readdirplus。微调mount timeo

ls

性能优化

glusterfs

转载精选 2014-12-23 18:06:03 4065 阅读 1点赞 6评论

glusterfs性能优化

首先说两个关键知识点，供大家参考：1.glusterfs 3.x.x版本后，客户端不再存储配置文件。客户端依靠nfs协议（或gluster native协议）动态的从服务端获取卷的信息。2.与其它分布式存储不同，如果你建立的是复制卷，gluster客户端会并发的向几个服务器写入\读取数据，而不是通过服务器之间进行数据的传输。接下来介绍两个测试时可能会用到的工具：1.iozone：文件系统的benc

性能优化

gluster

read-ahead

write-behind

转载精选 2014-12-17 17:19:55 7196 阅读 1收藏

Glusterfs DHT(hash分布)源代码分析

摘要 Glusterfs3.3.1DHT部分的简介以及源代码流程分析， http://www.iesool.com/forum.php?mod=viewthread&tid=14&fromuid=1glusterfs dht 集群文件系统源码分析1.DHT简介GlusterFS使用算法进行数据定位，集群中的任何服务器和客户端只需根据路径和文

读写

glusterfs

源码分析

操作流程

转载精选 2014-10-14 14:37:15 6291 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

敏而好学

深入理解GlusterFS之数据均衡

深入理解GlusterFS之POSIX接口

NFS-Ganesha源代码分析

GlusterFS企业级功能之EC纠删码

GlusterFS基础知识

GlusterFS的分布式锁

Glusterfs hacker guide（三）

Glusterfs hacker guide（二）

Glusterfs hacker guide（一）

GlusterFS初始化过程分析

GlusterFS整体分析

Gluster术语表

glusterd中的状态机浅析

图说DHT

GlusterFS社区开发流程

Cool User File Systems: GlusterFS

GlusterFS 隐藏参数说明

Glusterfs目录ls性能优化方案分析

glusterfs性能优化

Glusterfs DHT(hash分布)源代码分析