党志强的博客_大数据,集群,云计算,操作系统,Solaris,存储,Red Hat,文件系统,Linux,Linux,kernel,存储转载(2)

分布式存储的元数据设计

虽然分布式存储的存储层和上传下载这一层很重要，但在元数据方面有哪些选择，这些选择有什么优缺点则更为重要。鉴于此，七牛首席架构师李道兵结合自己多年的实践和思考，分享了存储设计的几大方法，并详细分析了各种方法的利弊。常规的存储设计方法主要有以下几类。无中心的存储设计，如GlusterFS。有中心的存储设计，如Hadoop。基于数据库的存储设计，如GridFS和HBase。绕过元

分布式存储

元数据设计

转载精选 2015-05-22 10:39:14 1024 阅读

GlusterFS的分布式锁

“Glusterfs锁，并没有中央锁服务器的概念。它可以使用一个或多个节点作为锁管理节点，而底层直接使用系统上的锁机制，所以本身并不需要作过多的工作。它需要保证的是，锁的事务性，即要么锁成功，要么不锁。对于多个锁节点，这个尤其重要，必须所有节点都锁上，才是加锁成功。不能一个节点加锁成功，而其他节点不成功，这样容易引起死锁。”GlusterFS锁由记录锁构成，即通过fcntl实现，可对文件的某一区域

转载精选 2015-02-04 14:53:42 1945 阅读

Glusterfs hacker guide（三）

1 GlusterFS Translator API 21.1 Introduction Before we dive into the specifics of the API, it's important to understandtwo things about the context in which it exists. The f

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:05:30 1786 阅读

Glusterfs hacker guide（二）

1 GlusterFS Translator API Translators are one of the core concepts of GlusterFS, and are consideredby some to be the feature most clearly differentiating it from otherwisesimilar

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:03:58 1111 阅读

Glusterfs hacker guide（一）

1 Translator 101 Lesson1.1 Translator 101 Lesson 1: Setting the Stage This is the first postin a series that will explain some of the details of writing a GlusterFStranslat

api

lesson

guide

Glusterfs

translator

转载精选 2015-01-07 16:02:00 1759 阅读

expect中\t和\n区别

spawn后 send 最后都追加一个回车符\r。因为这是程序之间的交互，用的是回车。但是没有spawn的情况下，send后面追加的是\n。这是方便输出到终端的操作。参考：expect "hi\n"send "hello there!\n"I typed the string hi and then pressed return. My input matched t

区别

expect

\n

\t

转载精选 2014-12-30 16:25:42 2934 阅读

GlusterFS初始化过程分析

其实整个glusterfs的初始化过程就是这4个进程（gluster、glusterd、glusterfs和glusterfsd）的初始化过程，下面就详细说明下这4个进程的初始化过程。整个glusterfs的代码目录结构截图如下：图3：一、gluster进程的初始化过程：gluster作为一个cli命令执行工具，初始化代码位于glusterfs/cli/Src/cli.c的main函数里面，具体初

分析

glusterfs

初始化过程

转载精选 2014-12-24 18:35:00 4515 阅读

GlusterFS整体分析

首先，熟悉整个业务流程前先了解下glusterfs的几个程序功能以及相互之间的关系！gluster ：cli的命令执行工具，负责将glusterfs的请求传递给glusterd进程来执行；大家安装后glusterfs后，执行gluster就会进入到该命令执行工具了；glusterd：管理daemon进程，同时负责接收gluster发送过来的请求并执行相应的操作，比如：调用glusterf

glusterfs

整体架构

转载精选 2014-12-24 18:33:23 1416 阅读

Gluster术语表

Xlator=translator: glusterfs模块的代名词Brick :存储目录是Glusterfs的基本存储单元，由可信存储池中服务器上对外输出的目录表示。存储目录的格式由服务器和目录的绝对路径构成，具体如下：SERVER:EXPORT.例如：myhostname:/exports/myexportdir/Volume :卷是存储目录的逻辑组合。大部分gluster

术语表

glusterfs

转载精选 2014-12-24 18:31:42 1379 阅读

glusterd中的状态机浅析

当RPC请求到达Glusterd守护进程后，它会根据rpcsvc_actor_t gd_svc_cli_actors[] 数组来选择相应的处理函数。一般函数名为glusterd_handle_XXX 。这类函数一般负责从xdr中提取出请求数据，比如卷名，主机名等等。然后调用glusterd_op_begin 或者其他函数向请求队列里面注入事件(inject event)。gluste

状态机

glusterfs

转载精选 2014-12-24 18:28:54 1644 阅读

图说DHT

dht-diskusage.c 它包含dht中关于磁盘空间的获取与控制相关函数。图片中箭头代表数据流，其他是调用流。图片中的核心数据是conf->du_stats, 图片左半部分的函数负责获取数据存入du_stats结构体，而右半部分函数使用du_stats判断subvol是否可以再存放文件。 dht-rename.c&nb

dht

glusterfs

转载精选 2014-12-24 18:27:50 1078 阅读

GlusterFS社区开发流程

Glusterfs开源社区使用 Git + Gerrit + Jenkins的开发流程。 RegisterSign up for an account at http://review.gluster.org by clicking 'Register' on the right-hand top. You can use yourgmail login a

glusterfs

社区开发

转载精选 2014-12-24 18:25:28 1230 阅读

Cool User File Systems: GlusterFS

One the coolest file systems in User Space has got to be GlusterFS. It has a very unique architecture that allows it to be configured for specific storage requirements and scenarios. It can be used as

介绍

glusterfs

转载精选 2014-12-24 18:23:59 1037 阅读

GlusterFS 隐藏参数说明

OptionDefault ValueDescriptionAvailable Optionsauth.allow* (allow all)被允许访问的客户端其他的拒绝192.168.1.*auth.rejectNONE (reject none)被拒绝的客户端其他的允许192.168.2.*cluster.min-free-disk10% 最小空余硬盘空间百分比cluster.min-

说明

glusterfs

隐藏参数

转载精选 2014-12-24 15:02:42 10000+阅读 1收藏

Glusterfs目录ls性能优化方案分析

目的和优化思路讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输fuse readdirpluscentos 6.4最新内核，支持fuse readdirplus。微调mount timeo

ls

性能优化

glusterfs

转载精选 2014-12-23 18:06:03 4220 阅读 1点赞 6评论

glusterfs性能优化

首先说两个关键知识点，供大家参考：1.glusterfs 3.x.x版本后，客户端不再存储配置文件。客户端依靠nfs协议（或gluster native协议）动态的从服务端获取卷的信息。2.与其它分布式存储不同，如果你建立的是复制卷，gluster客户端会并发的向几个服务器写入\读取数据，而不是通过服务器之间进行数据的传输。接下来介绍两个测试时可能会用到的工具：1.iozone：文件系统的benc

性能优化

gluster

read-ahead

write-behind

转载精选 2014-12-17 17:19:55 7423 阅读 1收藏

打造高性能高可靠块存储系统

Contents [hide]1 块存储系统1.1 软硬件配置1.2 最小部署架构1.3 轻松扩展1.4 改造OpenStack2 高性能2.1 复杂的I/O栈2.2 优化操作系统2.3 优化Qemu2.4 优化Ceph3 高可靠性3.1 如何计算持久性3.2

存储

OpenStack

Ceph

转载精选 2014-11-13 10:04:09 1061 阅读 1点赞

电脑一族如何保护眼睛

伴随着现代科学技术的发展，电脑越来越成为我们生活中不可缺失的一部分，有许多人因为工作的关系，必须整天面对电脑。我们在享受电脑带来的便捷时，它也在慢慢地侵蚀着我们的身体健康，长时间使用电脑者可出现颈肩酸痛不适、头痛、头昏，眼部可出现眼干、灼热、异物感、视物模糊、眼部胀痛等症状，还可出现近视度数增加，这些症状称为视频终端综合征，症状的严重程度与操作电脑时

电脑

保护眼睛

IT人员

转载精选 2014-11-11 09:42:26 931 阅读

深入浅出多网卡绑定技术

在存储系统中为了提高后端设备的吞吐量，往往需要采用多网卡绑定技术。例如，后端存储最大能够提供300MB/s的吞吐量，因此需要采用3块1Gps的网卡并发传输才可以达到峰值性能。那么，从研发的角度来看如何实现多网卡绑定呢？这里对提高吞吐量用途的多网卡绑定技术进行深入分析。多网卡绑定一方面能够提高网络吞吐量，另一方面也可以增强网络高可用。这里对高可用应用的多网卡绑定技术不做讨论。从软件的角度

详解

网卡绑定

转载精选 2014-10-30 16:52:50 785 阅读

MegaRAID工具使用详解

DELL RAID卡管理工具 MegaRAID Storage Manager(偏重RAID常用管理命令)前言：业务生产中大部分服务器RAID控制器使用的LSI产品，例如服务器：DELL、IBM、HP、浪潮、联想、华为。本文主要针对行业主流服务器DELL系列RAID卡管理，借住LSI产品管理软件MegaRAID Storage Manager （以下简称MSM）Support for&n

命令

工具

MegaRAID

详解

转载精选 2014-10-30 16:51:04 10000+阅读 1收藏

IBM 把 Informix 数据库给“卖了”

PC，卖了！x86服务器，卖了！芯片制造，卖了！IBM下一个要卖哪个？据悉，IBM Informix今年9月已经“卖了”！“卖了”之所以打双引号，其实并不是真卖了，而是IBM在中国把Informix的全部源代码授权给了中国知名数据库厂商南大通用数据技术股份有限公司（以下简称南大通用）。据悉，南大通用此次取得的不仅仅是Informix最新版本12.10的全部源代码，而且还包括完整的测试系统及文档资

数据库

informix

IMB

卖

转载精选 2014-10-27 20:30:00 1071 阅读

Glusterfs DHT(hash分布)源代码分析

摘要 Glusterfs3.3.1DHT部分的简介以及源代码流程分析， http://www.iesool.com/forum.php?mod=viewthread&tid=14&fromuid=1glusterfs dht 集群文件系统源码分析1.DHT简介GlusterFS使用算法进行数据定位，集群中的任何服务器和客户端只需根据路径和文

读写

glusterfs

源码分析

操作流程

转载精选 2014-10-14 14:37:15 6674 阅读 1收藏

阿里巴巴集团详细股权报告：马云持股8.9%

阿里巴巴集团今天向美国证券交易委员会提交IPO招股书，计划赴美上市。招股书披露阿里巴巴详细持股情况，其中，阿里巴巴董事局主席马云(微博)持股206,100,673股，占比为8.9%。阿里巴巴集团持股情况（腾讯科技配图）其中，1,903,177股普通股为马云持有，35,000,000股普通股由APN Ltd.,持有，马云在APN Ltd.,中拥有70%的股权，35,000,000股普通股由SymAs

马云

阿里巴巴

股权报告

股权结构

转载精选 2014-09-20 00:25:04 1425 阅读

ZFS On Linux现状——稳定来临

ZFS on Linux是否稳定了？代码递交数排在第二位的ZFSOnLinux项目开发者Richard Yao的回答是“是的”——根据你对稳定的定义而定。稳定的意义是模糊的，其中一种意义是“做好了在生产环境使用的准备”，即数据不会丢失，不会崩溃，是现有文件系统的“即插即用”替代，磁盘格式向前兼容，完美更新，等等。 &

Linux

ZFS

现状

稳定性

zfsonlinux

转载精选 2014-09-15 17:48:01 1851 阅读

睡眠不足将无法形成长期记忆

睡眠有助于巩固记忆，但其机制至今未知。纽约大学医学院和北大深圳研究生院的研究人员在《科学》上发表论文，声称目睹了睡眠巩固记忆的机制。研究人员利用先进的显微镜观察睡眠或睡眠剥夺的老鼠大脑神经突触的形成，显示睡眠中的老鼠形成更多的神经元连接——即它们在学习和记忆。他们比较了训练一小时然后睡眠和密集训练三小时同时剥夺睡眠的老鼠表现，发现充分睡眠的老鼠表现更

记忆

影响

睡眠不足

转载精选 2014-06-08 11:29:31 747 阅读

为公司省钱往往省不到自己身上

简单写个序：为公司省钱往往省不到自己身上，在某些方面，往往还会使自己的价值更低，省钱的好不一定会被公司记住，但因此而产生的风险和黑锅肯定是由自己来背。花钱是为了创造更多更好的价值，所以不要替公司省钱，要为公司提供更好的产品。详细说明可见如下讨论文章：原标题：写给刚入行的新人和技术控们其实老早就想写写了。但是一直太懒

硬件

公司

正版

无黑锅

转载精选 2014-05-16 10:24:11 802 阅读 1点赞

什么是蓝宝石玻璃屏幕？

蓝宝石玻璃屏幕是什么？蓝宝石玻璃(SAPPHIRE CRYSTAL)一般是指人工合成的蓝宝石，与人们平常理解的珠宝——天然蓝宝石有着很大的区别，一般用于腕表镜面的制造。它与钨钛合金和高科技陶瓷都是抗磨损的材料。这些材料虽能抗磨损，但却不能承受强力撞击，同时一些硬度相同或更高的物质(例如：磨石，砂纸，指甲挫，花岗石面，混凝土墙面及地面等)都有可能会刮花这些材料的表面。蓝

介绍

蓝宝石屏

转载精选 2014-05-08 18:01:41 906 阅读

磁盘阵列典型问题分析

在磁盘阵列在线支持的过程中，会遇到一些常见的问题，现将有典型意义的问题分析如下1.在服务器往盘阵中写入或读出数据时报错（如I/0 error,读写延缓失败等）,或不能写入数据，或写入过程中出错1) 检查SCSI线及SCSI卡有无松动.2)判断盘阵型号：如果是SCSI接口类型的盘阵，第一思路是查看盘阵的主机通道接口有无接错，如果将SCSI线接到了out口，极易出现这种故障现象，这时一定要提醒用户先关

磁盘阵列

问题分析

转载精选 2014-04-30 13:58:31 1011 阅读

DAS / NAS / IP SAN / FC SAN区别

DAS：服务器直接后挂存储设备，最经济的一种结构。NAS：网络上直接挂接的存储设备，其实就是处于以太网上的一台利用NFS、CIFS等网络文件系统的文件共享服务器。SAN是网络上的磁盘，NAS是一个网络上的文件系统。IP SAN：应用iSCSI技术的SAN（storage area network）网络，传输介质为IP网。FC SAN：是应用光纤技术的SAN网络，传输介质为光纤，性能最高，目前使用最

区别

NAS

DAS

SAN

FC SAN

IP SAN

转载精选 2014-04-30 12:15:41 2631 阅读

盘阵典型故障分析及解决方案

在磁盘阵列在线支持的过程中，会遇到一些常见的问题，现将有典型意义的问题分析如下1.在服务器往盘阵中写入或读出数据时报错（如I/0 error,读写延缓失败等）,或不能写入数据，或写入过程中出错1) 检查SCSI线及SCSI卡有无松动.2)判断盘阵型号：如果是SCSI接口类型的盘阵，第一思路是查看盘阵的主机通道接口有无接错，如果将SCSI线接到了out口，极易出现这种故障现象，这时一定要提醒用户先关

解决方案

故障分析

盘阵

转载精选 2014-04-24 19:51:37 1939 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

敏而好学

分布式存储的元数据设计

GlusterFS的分布式锁

Glusterfs hacker guide（三）

Glusterfs hacker guide（二）

Glusterfs hacker guide（一）

expect中\t和\n区别

GlusterFS初始化过程分析

GlusterFS整体分析

Gluster术语表

glusterd中的状态机浅析

图说DHT

GlusterFS社区开发流程

Cool User File Systems: GlusterFS

GlusterFS 隐藏参数说明

Glusterfs目录ls性能优化方案分析

glusterfs性能优化

打造高性能高可靠块存储系统

电脑一族如何保护眼睛

深入浅出多网卡绑定技术

MegaRAID工具使用详解

IBM 把 Informix 数据库给“卖了”

Glusterfs DHT(hash分布)源代码分析

阿里巴巴集团详细股权报告：马云持股8.9%

ZFS On Linux现状——稳定来临

睡眠不足将无法形成长期记忆

为公司省钱往往省不到自己身上

什么是蓝宝石玻璃屏幕？

磁盘阵列典型问题分析

DAS / NAS / IP SAN / FC SAN区别

盘阵典型故障分析及解决方案

欢迎