存储之道-51CTO博客

存储之道

237W+
人气
136
文章
0
关注
160
粉丝

博客之星
专家博主

关注私信

原创 136
翻译 0
转载 0
评论 152
点赞 199

全部

原创
谈谈重复数据删除
0

10年前重复数据删除技术还是存储领域中十分先进的技术手段。10年前李凯带领团队推出了首个基于重复数据删除的备份设备，并且至今一直保持了将近60%的市场份额。不得不说DataDomain的创业是成功的，DataDomain的持续领先是值得骄傲的。DataDomain在创业之初就设置了很强的技术屏障，重复数据删除技术应用的一个很大障碍是如何突破磁盘IO瓶颈。那个时候还没有大容量的SSD盘，只有一些基于

wuzhongjie 发布于：2013-09-17

阅读 2462

评论 0

收藏 0
原创
一个IO的传奇一生 (6) --- IO调度器
2

IO调度器当IO旅行到调度器的时候，发现自己受到的待遇竟然很不一样，有些IO倚仗着特权很快就放行了；有些IO迟迟得不到处理，甚至在有些系统中居然饿死！面对这样的现状，IO显然是很不高兴的，凭什么别人就能被很快送到下一个旅程，自己需要在调度器上耗费青春年华？这里是拼爹的时代，人家出身好，人家是读请求，人家就可以很快得到资源。咱们是写请求，出生贫寒，只能等着，但也不会让你饿死。这就是我们常

wuzhongjie 发布于：2013-09-11

阅读 10000+

评论 2

收藏 0
原创
一个IO的传奇一生 (5) --- 块设备层
1

块设备层分析无论是经过EXT3文件系统还是块设备文件,最终都要通过writeback机制将数据刷新到磁盘，除非用户在对文件进行读写的时候采用了DirectIO的方式。为了提高性能，文件系统或者是裸设备都会采用Linux的cache机制对数据读写性能进行优化，因此都会采用writeback回写机制将数据写入磁盘。通过上述分析我们已经知道，writeback机制会调用不同底层设备的address_sp

wuzhongjie 发布于：2013-09-11

阅读 10000+

评论 0

收藏 0
原创
一个IO的传奇一生 (4) ---- 块设备buffer cache机制荐
0

块设备buffer cache机制在EXT3文件IO踏上新的征程之前，需要介绍一位EXT3文件IO的同伴，他们即将踏上相同的旅程。只不过这位同伴没有经历过EXT3文件系统的精彩，却领略了另外一番略有差别的风情。这位同伴是在块设备写操作时创建诞生的，我们可以称它为块设备IO。在很多应用中都会直接进行块设备操作，我们常用的命令dd就可以进行块设备的读写。例如：dd&n

wuzhongjie 发布于：2013-09-05

阅读 10000+

评论 0

收藏 0
原创
一本不错的处理器软核设计参考书
0

去年年底的时候买了一本书《兼容ARM9的软核处理器设计》，前一段时间很仔细的进行了阅读，感觉很有参考价值。作者是一位芯片设计工程师，其利用空余时间做了一个很有意思的开源项目，自己采用FPGA实现了一个兼容ARM9处理器的RTL软核。初看到这个想法的时候，我觉得很疯狂，因为想要实现一个ARM9处理器兼容的CPU不是一件容易的事情，处理器内部流水线机制、相关性的处理、各种计算单元的实现，另外还需要去验

wuzhongjie 发布于：2013-09-04

阅读 1992

评论 0

收藏 0
原创
一个IO的传奇一生 (3) ---- 数据回写
1

数据回写对于EXT3文件系统而言，在绝大多数情况下，IO请求走到page cache之后就认为这个IO处理已经完成了。用户的IO请求被放入Cache之后，用户操作结束。实际上，此时的IO处境非常的危险，如果系统在此时Crash，那么内存中缓存的数据将会彻底丢失。为了保证数据不丢失，需要有一种机制及时的将缓存中的数据同步（回写）到磁盘。对于2.6.23版本的Linux，采用了Pdflush

wuzhongjie 发布于：2013-09-02

阅读 10000+

评论 0

收藏 0
原创
一个IO的传奇一生 (1)
7

前言前几天同事提议写一篇文章来仔细分析一下一个IO从创建到消亡的整个过程，我觉得这个想法很好，一个IO从创建到消亡经历了千山万水，从软件到硬件涉及到很多很多的技术。一个看似简单的IO读写操作，其实汇集了从计算机软件技术、硬件技术、电子技术、信号处理等各个方面的内容。所以，我想把IO的一生通过自己的认识把他描述一下，让世人看清在执行一个简单的IO操作究竟汇集了多少的智慧！汇集了工程师、科学家多少的心

wuzhongjie 发布于：2013-09-01

阅读 10000+

评论 4

收藏 1
原创
innovation
0

前几天参加toastmaster活动，做了一下prepared speech，选择了innovation这个话题。在写这个演讲稿的时候，自己也对innovation进行了一点思考，并且采用实际案例的形式对innovation的重要性进行了一些讨论。在此，分享一下我的这篇speech，可能有些观点并不正确，最重要的是激励大家对innovation进行思考。 Do you

wuzhongjie 发布于：2013-08-25

阅读 928

评论 0

收藏 0
原创
重复数据删除过程中的数据自动分段荐
2

重复数据删除技术在数据备份领域得到了广泛的应用。通过实践发现，对于备份应用而言可以通过重复数据删除压缩将近20倍左右的数据，从而节约了大量的存储空间。重复数据删除的一个技术难点是如何检索重复数据块？如果采用字节级别的比较，那么整个系统的性能肯定是无法接受的。为了解决这个问题，可以采用数据指纹（fingerprint）的技术手段来检索重复数据块。这种重复数据删除的方法原理很简单。首先将输入的数据流进

wuzhongjie 发布于：2013-08-18

阅读 1429

评论 0

收藏 0
原创
畅谈“中断” 荐
3

前几天同事做了一个报告讲述中断处理在虚拟化环境中所面临的一些问题。通过这个报告让我想起了中断技术的方方面面，所以想在此畅谈一下中断技术的前世今生。做计算机/电子技术的人对中断技术再了解不过了，我记得在大学微机原理和单片机技术课程中对中断技术进行了深入的剖析。我是学电子技术的，在很多基于处理器的设计中，大量的采用了中断技术。记得在51单片机中，需要自己去定义中断向量表，然后将中断处理函数

wuzhongjie 发布于：2013-08-14

阅读 3721

评论 3

收藏 1
原创
RAID技术穷途末路了吗?
3

自从1988年伯克利大学发明RAID(磁盘阵列)技术以来，RAID一直是存储领域的核心，肩负着保护数据的重任。但是随着磁盘容量的不断增大，RAID技术遇到了前所未有的新问题。最大的问题在于在数据重构时间过长，延长了系统degraded时间，增加了多个磁盘故障的概率，降低了数据可靠性。并且在RAID数据重构过程中，RAID自身的Rebuild IO对应用IO造成了影响，直接导致应用IO的p

wuzhongjie 发布于：2013-06-16

阅读 3045

评论 2

收藏 0
原创
打破创新枷锁
0

我们可以经常看到国外的很多研发工程师可以将自己的想法做成产业，真正实现了“知识改变命运”的人生理想。但是，在国内我们很难做到这一点，这到底是为什么呢？很多人在思考这个问题的时候，潜意识不假思索的回答：这是制度导致的，国内的制度没有国外的制度好。不可否认，这是正确的，国内的企业创新环境没有硅谷好，初创企业很难在资源高度垄断的环境下生存。除了制度、体制因素之外，从我们工程师自身角度来看，我们是不是还有

wuzhongjie 发布于：2013-05-21

阅读 565

评论 1

收藏 0
原创
加州Tahoe之行
2

硅谷的天气一直非常的好，不管是哪个季节到这里出差，基本上只要一件单衣就可以搞定了。登山Hiking一直是硅谷的传统项目，在天气爽朗的周末，我和几个出差的同事一致决定去游览一下风景迷人的Tahoe。从Santa Clara出发去Tahoe需要4个小时的车程，沿着680高速一路北上，出了San Francisco之后换80高速，一直往东就可以到达Tahoe景区。全程高速，一个人开的

wuzhongjie 发布于：2013-05-14

阅读 1036

评论 1

收藏 1
原创
SAS盘和SATA盘之间的区别
6

很多人一提到SAS盘和SATA盘之后，首先想到的是接口方面的区别，SAS的接口速度比SATA高很多，所以认为SAS盘要比SATA盘快，性能高。其实，接口方面的区别并不是主要的，只是很小的一方面。那么，SAS盘和SATA最大的区别到底在什么地方呢？这是磁盘内部的剖析图，对于一块磁盘而言，最重要的是驱动电机（Actuator）、磁头（read/write heads

wuzhongjie 发布于：2013-04-27

阅读 10000+

评论 1

收藏 1
原创
存储虚拟化引入的新问题
2

这一段时间一直在考虑一个基于存储虚拟化的系统，从数据可靠性的角度遇到了一个很棘手的问题。存储虚拟化技术已经在很多领域得到了应用，例如，如下图所示，在Vmware虚拟机环境中为了提高IO的效率，需要采用虚拟虚拟化技术，将多个虚拟机发送的IO请求更好的顺序化，从而提高IO性能。在SSD存储领域，采用虚拟化技术解决Nand Flash的性能损耗问题，平衡Nand Flash块的寿命。在磁盘阵列领域，

wuzhongjie 发布于：2013-03-05

阅读 1135

评论 1

收藏 0
原创
Linux 中字符设备的注册
0

Linux中字符设备的注册过程是比较简单的。我们通常可以调用misc_register()函数来注册一个字符设备。Misc设备是一种字符设备，通过该设备可以将fops请求转发给注册的misc设备，从而实现字符设备的功能。用户调用该接口注册Misc字符设备时，可以动态分配设备Minor号，当获取Minor号之后调用class_simple_device_add()或者device_c

wuzhongjie 发布于：2013-01-22

阅读 1980

评论 0

收藏 0
原创
Buffer cache和page cache的区别
5

Page cache和buffer cache到底有什么区别呢？很多时候我们不知道系统在做IO操作的时候到底是走了page cache还是buffer cache？其实，buffer cache和page cache是Linux中两个比较简单的概念，在此对其总结说明。 Page cache是vfs文件系统层的cache，例如对于一个ext3文件系统而言，每个文件都会有一

wuzhongjie 发布于：2013-01-19

阅读 10000+

评论 4

收藏 0
原创
Linux中文件名解析处理源码分析
0

前言 Linux中对一个文件进行操作的时候，一件很重要的事情是对文件名进行解析处理，并且找到对应文件的inode对象，然后创建表示文件的file对象。在此，对文件名解析过程，并且如何找到对应inode的过程进行源码分析。分析代码基于Linux-3.2版本。关键函数分析不管是通过应用层的API函数还是在内核中打开一个文件，最终

wuzhongjie 发布于：2013-01-17

阅读 5305

评论 1

收藏 0
原创
影响IO性能的request queue
1

最近一段时间在做IO性能对比测试分析的时候发现Linux-3.2的IO性能要比Linux-2.6.23差。在内核中，并发顺序读的情况下（绕过设备的buffer cache），Linux-3.2的性能比Linux-2.6.23有很大差别，性能降低了15%左右。这是为什么呢? 首先看一下 Linux-3.2中测试的IO Stack模型，如下图所示：

wuzhongjie 发布于：2013-01-16

阅读 3005

评论 2

收藏 0
原创
聆听李凯院士的报告----Disruptive Innovation
0

今天有幸聆听了普林斯顿大学李凯教授的报告“An Disruptive innovation example: Data Domain, Inc”。李凯教授是美国工程院院士，在学术界和工程界都有极高的威望。第一眼看到李凯院士的感觉就是非常的朴素和平易近人，和国内的企业老总相比，真是有天壤之别。他创建的Data Domain公司开创了Deduplication在

wuzhongjie 发布于：2013-01-11

阅读 1290

评论 2

收藏 0
原创
基于PCI总线的网络数据传输卡设计
0

在高效数据传输领域，测控领域对基于PCI总线的网络数据传输卡有大量需求，例如分布式采集系统需要通过这种传输卡将数据聚合传输至处理机系统。几年前我研发了基于PCI总线的数据传输卡，研制的硬件板卡如下图所示：该PCI数据传输卡有如下几个方面的特点： 1，有很大的板载内存，因此，可以将网络数据聚合、缓存。 2，网络部分和PCI部分通过FPGA互联，中间通过FIFO

wuzhongjie 发布于：2013-01-08

阅读 1022

评论 0

收藏 0
原创
Linux中Buffer cache性能问题一探究竟
1

1, Buffer cache的作用为了提高磁盘设备的IO性能，我们采用内存作为磁盘设备的cache。用户操作磁盘设备的时候，首先将数据写入内存，然后再将内存中的脏数据定时刷新到磁盘。这个用作磁盘数据缓存的内存就是所谓的buffer cache。在以前的Linux系统中，有很完善的buffer cache软件层，专门负责磁盘数据的缓存。在磁盘设备的上层往往会架构

wuzhongjie 发布于：2013-01-08

阅读 10000+

评论 4

收藏 0
原创
利用Kprobe探测内核中的变量
0

今天遇到一个问题，需要探测内核中buffer cache block的大小。我想到了Kprobe这个神奇的工具，并且很好的探测到了内核中的变量值，非常的方便，在此分享一下。采用dd等工具写设备的时候，是需要经过块设备层的buffer cache，当请求块大小小于buffer cache的block_size时，Linux的策略是首先需要从磁盘load数据至buf

wuzhongjie 发布于：2013-01-07

阅读 4458

评论 0

收藏 0
原创
writeback机制源码分析荐
1

writeback相关数据结构与writeback相关的数据结构主要有： 1，backing_dev_info，该数据结构描述了backing_dev的所有信息，通常块设备的request queue中会包含backing_dev对象。 2，bdi_writeback，该数据结构封装了writeback的内核线程以及需要操作的inode队列。 3，wb_w

wuzhongjie 发布于：2013-01-07

阅读 10000+

评论 1

收藏 0
原创
Linux 3.2中回写机制的变革
0

writeback机制模型在Linux-3.2新内核中，page cache和buffer cache的刷新机制发生了改变。放弃了原有的pdflush机制，改成了bdi_writeback机制。这种变化主要解决原有pdflush机制存在的一个问题：在多磁盘的系统中，pdflush管理了所有磁盘的page/buffer cache，从而导致一定程度的IO性能瓶颈。

wuzhongjie 发布于：2013-01-06

阅读 4503

评论 0

收藏 0
原创
Kprobe在Linux kernel debug中的应用荐
2

一直在做kernel开发方面的工作，也一直苦于kernel debug的困惑，到底如何进行kernel开发的debug的工作？今天经美国同事的推荐，我认为kprobe是一个非常好的debug工具。其本质原理就是在你需要probe的地方放入断点指令，然后在断点处调用你的调试/测试程序，从而可以实现对kernel程序的调试/测试。 Kprobe只是提供了一种机制，使得

wuzhongjie 发布于：2013-01-05

阅读 7135

评论 4

收藏 0
原创
对“优秀工程师”的一点感悟荐
6

今天在网上看到很多人对自己的IT技术人生路产生了怀疑，大龄工程师有竞争力吗？甚至有人将大龄工程师和“小姐”并论，提出了工程师职业也是青春饭的论断。几年前，我也经常问自己，以后的路该怎么走？能够一直做技术研发吗？做一段研发之后需要转市场或者转管理吗？技术研发有前途吗？现在，我想说的是平庸的技术研发没有前途；没有自己想法的技术研发没有前途；只

wuzhongjie 发布于：2013-01-03

阅读 2292

评论 4

收藏 0
原创
Ext3文件系统读写过程分析
1

Ext3文件读写流程概述 Ext3文件系统在进行读写操作的时候，首先需要open相应的文件，然后再进行读写操作。在open操作时，Linux kernel会创建一个file对象描述这个文件。File对象和文件的dentry和inode对象建立联系，并且将ext3的文件操作方法、映射处理方法（address space）注册到file对象中。 Ex

wuzhongjie 发布于：2013-01-03

阅读 10000+

评论 7

收藏 0
原创
Ext3 mount过程分析
1

Ext3 mount原理本质上，Ext3 mount的过程实际上是inode被替代的过程。例如，/dev/sdb块设备被mount到/mnt/alan目录。那么mount这个过程所需要解决的问题就是将/mnt/alan的dentry目录项所指向的inode屏蔽掉，然后重新定位到/dev/sdb所表示的inode索引节点。在没有分析阅读linux vfs mount代码的时候，我

wuzhongjie 发布于：2013-01-01

阅读 6146

评论 0

收藏 1
原创
谈谈SSD固态硬盘的设计
1

基于Flash的存储在电子设计领域很早就开始应用了。Nor Flash具有较高的读性能，但是写性能极差（在写入的时候需要擦除，擦除的时候需要对存储单元进行清1操作，所以擦除时间比较长），并且容量较小，因此，常被用作程序存储器，采用标准存储器总线接口。现在，很多嵌入式开发中经常采用Nor Flash保存U-Boot、Linux Kernel以及Initrd。Nand Flash是另外

wuzhongjie 发布于：2012-12-23

阅读 10000+

评论 0

收藏 0

首页
上一页
1
2
3
4
5
下一页
末页
共136条记录

wuzhongjie

分享到朋友圈

这个家伙比较懒，还没有个人介绍

关注技术：嵌入式开发存储 Linux 虚拟化
入住博客：2011-09-30 9.3年

七日热门: 一款优秀的 SDK 接口设计十大原则; WebRTC 的现状和未来：专访 W3C WebRTC Chair Bernard Aboba; 一波爬虫，直接把年终奖干没了; 数据结构之集合和映射; 2020年12PMP备考历程

最新文章: FlashRAID技术白皮书; 报告：NVMe存储系统机遇与挑战; NVMe闪存存储系统设计挑战; NVDIMM在闪存存储中的应用探讨; 面向数据可靠性存储系统设计思想探讨

最新评论: NVMe闪存存储系统设计挑战

wuzhongjie：I have added your wechat, we can talk in detail; 面向数据可靠性存储系统设计思想探讨

wx5ab04b73845f4：才发现您的博客，非常的赞同。非常荣幸能和您有一段时间的合作，为存储二战。目前虽然暂时不能密切合作，但精神不变，大家一起为可靠存储二战。; NVMe设备的性能有多高?

wz2013jy：在超融合存储架构当中，如果用NVME做第一层cache，普通SSD和SAS做第二和第三层，也可以得到不错的性能; RAID2.0核心思想：数据保护与物理资源管理域分离

旭日青海：RAID2.0技术是基于块的存储模式，通过将底层的磁盘切割成均匀大小的存储块CK，多个CK按照一定的规则组成CKG，然后再将CKG切割成extent，多个extent组成Volume卷，最后形成LUn。由于损坏级别是最小的CK块，所以数据重构和恢复时间想对于传统磁盘快了很多。当然由于磁盘的增加，CK坏掉的几率也大大增加，当坏掉的CK达到一定级别，硬盘就会告警、报废了。; SSD内部的IO抖动因素

wuzhongjie：以后会写一些NAND特性相关的文章，多多交流~

最近来访