wuzhongjie的博客_嵌入式开发,存储,Linux,虚拟化,存储技术,文件系统,互连技术

谈谈重复数据删除

10年前重复数据删除技术还是存储领域中十分先进的技术手段。10年前李凯带领团队推出了首个基于重复数据删除的备份设备，并且至今一直保持了将近60%的市场份额。不得不说DataDomain的创业是成功的，DataDomain的持续领先是值得骄傲的。DataDomain在创业之初就设置了很强的技术屏障，重复数据删除技术应用的一个很大障碍是如何突破磁盘IO瓶颈。那个时候还没有大容量的SSD盘，只有一些基于

data deduplication

原创 2013-09-17 15:24:10 3237 阅读

一个IO的传奇一生 (6) --- IO调度器

IO调度器当IO旅行到调度器的时候，发现自己受到的待遇竟然很不一样，有些IO倚仗着特权很快就放行了；有些IO迟迟得不到处理，甚至在有些系统中居然饿死！面对这样的现状，IO显然是很不高兴的，凭什么别人就能被很快送到下一个旅程，自己需要在调度器上耗费青春年华？这里是拼爹的时代，人家出身好，人家是读请求，人家就可以很快得到资源。咱们是写请求，出生贫寒，只能等着，但也不会让你饿死。这就是我们常

IO Scheduler

原创 2013-09-11 15:57:15 10000+阅读 2点赞 2评论

一个IO的传奇一生 (5) --- 块设备层

块设备层分析无论是经过EXT3文件系统还是块设备文件,最终都要通过writeback机制将数据刷新到磁盘，除非用户在对文件进行读写的时候采用了DirectIO的方式。为了提高性能，文件系统或者是裸设备都会采用Linux的cache机制对数据读写性能进行优化，因此都会采用writeback回写机制将数据写入磁盘。通过上述分析我们已经知道，writeback机制会调用不同底层设备的address_sp

block device

原创 2013-09-11 01:05:17 10000+阅读 3点赞 2收藏

新型RAID技术

概述大家知道随着磁盘容量的增大，数据在RAID级别的存储可靠性受到了极大的威胁。其最为突出的问题是磁盘重构时间大为增加，对于RAID6而言三块盘坏的几率也大为增加，与此同时，应用性能在磁盘重构时也大为降低。这就是目前传统RAID所遇到的最棘手的问题，很多存储厂商都在想办法解决目前RAID所遇到的问题。针对RAID所遇到的问题，我想基本有两种解决方案，一种就是像当年从RAID5过渡到RAID6一样，

RAID

Declustered RAID

DDP

原创推荐 2013-09-06 00:16:16 5090 阅读 3点赞 1收藏 4评论

一个IO的传奇一生 (4) ---- 块设备buffer cache机制

块设备buffer cache机制在EXT3文件IO踏上新的征程之前，需要介绍一位EXT3文件IO的同伴，他们即将踏上相同的旅程。只不过这位同伴没有经历过EXT3文件系统的精彩，却领略了另外一番略有差别的风情。这位同伴是在块设备写操作时创建诞生的，我们可以称它为块设备IO。在很多应用中都会直接进行块设备操作，我们常用的命令dd就可以进行块设备的读写。例如：dd&n

块设备

buffer cache

原创推荐 2013-09-05 00:12:56 10000+阅读 1点赞

一本不错的处理器软核设计参考书

去年年底的时候买了一本书《兼容ARM9的软核处理器设计》，前一段时间很仔细的进行了阅读，感觉很有参考价值。作者是一位芯片设计工程师，其利用空余时间做了一个很有意思的开源项目，自己采用FPGA实现了一个兼容ARM9处理器的RTL软核。初看到这个想法的时候，我觉得很疯狂，因为想要实现一个ARM9处理器兼容的CPU不是一件容易的事情，处理器内部流水线机制、相关性的处理、各种计算单元的实现，另外还需要去验

FPGA

ARM

原创 2013-09-04 22:45:38 2509 阅读

一个IO的传奇一生 (3) ---- 数据回写

数据回写对于EXT3文件系统而言，在绝大多数情况下，IO请求走到page cache之后就认为这个IO处理已经完成了。用户的IO请求被放入Cache之后，用户操作结束。实际上，此时的IO处境非常的危险，如果系统在此时Crash，那么内存中缓存的数据将会彻底丢失。为了保证数据不丢失，需要有一种机制及时的将缓存中的数据同步（回写）到磁盘。对于2.6.23版本的Linux，采用了Pdflush

writeback

ext3

原创 2013-09-02 22:33:02 10000+阅读 1点赞 1收藏

一个IO的传奇一生(2)

EXT3文件写操作如果应用层发起的是一个Word文档的写操作请求，那么通过上述分析，IO会走到sys_write的地方，然后执行file->f_op->write方法。对于EXT3 ，该方法注册的是do_sync_write。Do_sync_write的实现如下：ssize_t do_sync_write(struct file *filp, const char

IO

EXT3

原创推荐 2013-09-02 01:18:12 10000+阅读

一个IO的传奇一生 (1)

前言前几天同事提议写一篇文章来仔细分析一下一个IO从创建到消亡的整个过程，我觉得这个想法很好，一个IO从创建到消亡经历了千山万水，从软件到硬件涉及到很多很多的技术。一个看似简单的IO读写操作，其实汇集了从计算机软件技术、硬件技术、电子技术、信号处理等各个方面的内容。所以，我想把IO的一生通过自己的认识把他描述一下，让世人看清在执行一个简单的IO操作究竟汇集了多少的智慧！汇集了工程师、科学家多少的心

IO

EXT3

SAS

原创 2013-09-01 11:56:49 10000+阅读 8点赞 5收藏 6评论

innovation

前几天参加toastmaster活动，做了一下prepared speech，选择了innovation这个话题。在写这个演讲稿的时候，自己也对innovation进行了一点思考，并且采用实际案例的形式对innovation的重要性进行了一些讨论。在此，分享一下我的这篇speech，可能有些观点并不正确，最重要的是激励大家对innovation进行思考。 Do you

innovation

原创 2013-08-25 20:05:12 1435 阅读

重复数据删除过程中的数据自动分段

重复数据删除技术在数据备份领域得到了广泛的应用。通过实践发现，对于备份应用而言可以通过重复数据删除压缩将近20倍左右的数据，从而节约了大量的存储空间。重复数据删除的一个技术难点是如何检索重复数据块？如果采用字节级别的比较，那么整个系统的性能肯定是无法接受的。为了解决这个问题，可以采用数据指纹（fingerprint）的技术手段来检索重复数据块。这种重复数据删除的方法原理很简单。首先将输入的数据流进

deduplication

CDC

原创推荐 2013-08-18 01:34:35 2292 阅读 2点赞

畅谈“中断”

前几天同事做了一个报告讲述中断处理在虚拟化环境中所面临的一些问题。通过这个报告让我想起了中断技术的方方面面，所以想在此畅谈一下中断技术的前世今生。做计算机/电子技术的人对中断技术再了解不过了，我记得在大学微机原理和单片机技术课程中对中断技术进行了深入的剖析。我是学电子技术的，在很多基于处理器的设计中，大量的采用了中断技术。记得在51单片机中，需要自己去定义中断向量表，然后将中断处理函数

Linux

中断技术

原创推荐 2013-08-14 23:34:12 4543 阅读 3点赞 1收藏 3评论

RAID技术穷途末路了吗?

自从1988年伯克利大学发明RAID(磁盘阵列)技术以来，RAID一直是存储领域的核心，肩负着保护数据的重任。但是随着磁盘容量的不断增大，RAID技术遇到了前所未有的新问题。最大的问题在于在数据重构时间过长，延长了系统degraded时间，增加了多个磁盘故障的概率，降低了数据可靠性。并且在RAID数据重构过程中，RAID自身的Rebuild IO对应用IO造成了影响，直接导致应用IO的p

RAID

原创 2013-06-16 21:55:00 4129 阅读 3点赞 2评论

打破创新枷锁

我们可以经常看到国外的很多研发工程师可以将自己的想法做成产业，真正实现了“知识改变命运”的人生理想。但是，在国内我们很难做到这一点，这到底是为什么呢？很多人在思考这个问题的时候，潜意识不假思索的回答：这是制度导致的，国内的制度没有国外的制度好。不可否认，这是正确的，国内的企业创新环境没有硅谷好，初创企业很难在资源高度垄断的环境下生存。除了制度、体制因素之外，从我们工程师自身角度来看，我们是不是还有

创新

原创 2013-05-21 22:24:41 809 阅读 1评论

加州Tahoe之行

硅谷的天气一直非常的好，不管是哪个季节到这里出差，基本上只要一件单衣就可以搞定了。登山Hiking一直是硅谷的传统项目，在天气爽朗的周末，我和几个出差的同事一致决定去游览一下风景迷人的Tahoe。从Santa Clara出发去Tahoe需要4个小时的车程，沿着680高速一路北上，出了San Francisco之后换80高速，一直往东就可以到达Tahoe景区。全程高速，一个人开的

加州

Tahoe

原创 2013-05-14 15:57:57 1224 阅读 2点赞 1收藏 1评论

SAS盘和SATA盘之间的区别

很多人一提到SAS盘和SATA盘之后，首先想到的是接口方面的区别，SAS的接口速度比SATA高很多，所以认为SAS盘要比SATA盘快，性能高。其实，接口方面的区别并不是主要的，只是很小的一方面。那么，SAS盘和SATA最大的区别到底在什么地方呢？这是磁盘内部的剖析图，对于一块磁盘而言，最重要的是驱动电机（Actuator）、磁头（read/write heads

SATA

SAS

原创 2013-04-27 11:01:56 10000+阅读 6点赞 1收藏 1评论

存储设备架构分析

磁盘阵列是最常用的存储设备，从最简单的单控磁盘阵列到复杂的矩阵交换结构的多控阵列，可以满足不同级别的应用需求。单控磁盘阵列组成比较简单，其核心是一个RAID控制器，一个机柜中可以配置十多块磁盘，通过RAID控制器实现RAID功能。这种磁盘阵列通常会支持逻辑卷管理的功能，可以将RAID设备池化，然后根据应用需求导出不同的LUN设备。在导出协议这一块，通常会采用ISCSI协议，满足低端

存储设备

集群

Cluster

NUMA

MPP

原创推荐 2013-04-26 00:56:09 4305 阅读 2点赞 1收藏

存储虚拟化引入的新问题

这一段时间一直在考虑一个基于存储虚拟化的系统，从数据可靠性的角度遇到了一个很棘手的问题。存储虚拟化技术已经在很多领域得到了应用，例如，如下图所示，在Vmware虚拟机环境中为了提高IO的效率，需要采用虚拟虚拟化技术，将多个虚拟机发送的IO请求更好的顺序化，从而提高IO性能。在SSD存储领域，采用虚拟化技术解决Nand Flash的性能损耗问题，平衡Nand Flash块的寿命。在磁盘阵列领域，

存储虚拟化

原创 2013-03-05 17:37:15 1565 阅读 2点赞 1评论

Linux 中字符设备的注册

Linux中字符设备的注册过程是比较简单的。我们通常可以调用misc_register()函数来注册一个字符设备。Misc设备是一种字符设备，通过该设备可以将fops请求转发给注册的misc设备，从而实现字符设备的功能。用户调用该接口注册Misc字符设备时，可以动态分配设备Minor号，当获取Minor号之后调用class_simple_device_add()或者device_c

字符设备

原创 2013-01-22 13:45:09 2639 阅读

Buffer cache和page cache的区别

Page cache和buffer cache到底有什么区别呢？很多时候我们不知道系统在做IO操作的时候到底是走了page cache还是buffer cache？其实，buffer cache和page cache是Linux中两个比较简单的概念，在此对其总结说明。 Page cache是vfs文件系统层的cache，例如对于一个ext3文件系统而言，每个文件都会有一

page cache

buffer cache

原创 2013-01-19 01:28:04 10000+阅读 5点赞 4评论

Linux中文件名解析处理源码分析

前言 Linux中对一个文件进行操作的时候，一件很重要的事情是对文件名进行解析处理，并且找到对应文件的inode对象，然后创建表示文件的file对象。在此，对文件名解析过程，并且如何找到对应inode的过程进行源码分析。分析代码基于Linux-3.2版本。关键函数分析不管是通过应用层的API函数还是在内核中打开一个文件，最终

inode

file

dentry

hash

原创 2013-01-17 15:05:18 6272 阅读 1评论

影响IO性能的request queue

最近一段时间在做IO性能对比测试分析的时候发现Linux-3.2的IO性能要比Linux-2.6.23差。在内核中，并发顺序读的情况下（绕过设备的buffer cache），Linux-3.2的性能比Linux-2.6.23有很大差别，性能降低了15%左右。这是为什么呢? 首先看一下 Linux-3.2中测试的IO Stack模型，如下图所示：

request queue

multipath

原创 2013-01-16 21:56:06 3834 阅读 1点赞 2评论

聆听李凯院士的报告----Disruptive Innovation

今天有幸聆听了普林斯顿大学李凯教授的报告“An Disruptive innovation example: Data Domain, Inc”。李凯教授是美国工程院院士，在学术界和工程界都有极高的威望。第一眼看到李凯院士的感觉就是非常的朴素和平易近人，和国内的企业老总相比，真是有天壤之别。他创建的Data Domain公司开创了Deduplication在

存储

Datadomain

deduplication

原创 2013-01-11 22:39:39 1981 阅读 2评论

基于PCI总线的网络数据传输卡设计

在高效数据传输领域，测控领域对基于PCI总线的网络数据传输卡有大量需求，例如分布式采集系统需要通过这种传输卡将数据聚合传输至处理机系统。几年前我研发了基于PCI总线的数据传输卡，研制的硬件板卡如下图所示：该PCI数据传输卡有如下几个方面的特点： 1，有很大的板载内存，因此，可以将网络数据聚合、缓存。 2，网络部分和PCI部分通过FPGA互联，中间通过FIFO

网络

DMA

PCI

原创 2013-01-08 23:44:25 1894 阅读

Linux中Buffer cache性能问题一探究竟

1, Buffer cache的作用为了提高磁盘设备的IO性能，我们采用内存作为磁盘设备的cache。用户操作磁盘设备的时候，首先将数据写入内存，然后再将内存中的脏数据定时刷新到磁盘。这个用作磁盘数据缓存的内存就是所谓的buffer cache。在以前的Linux系统中，有很完善的buffer cache软件层，专门负责磁盘数据的缓存。在磁盘设备的上层往往会架构

buffer cache

IO性能

原创 2013-01-08 22:30:57 10000+阅读 1点赞 4评论

利用Kprobe探测内核中的变量

今天遇到一个问题，需要探测内核中buffer cache block的大小。我想到了Kprobe这个神奇的工具，并且很好的探测到了内核中的变量值，非常的方便，在此分享一下。采用dd等工具写设备的时候，是需要经过块设备层的buffer cache，当请求块大小小于buffer cache的block_size时，Linux的策略是首先需要从磁盘load数据至buf

Kprobe

Buffer Cache

原创 2013-01-07 23:45:02 6068 阅读

writeback机制源码分析

Linux

Cache

Writeback

bdi

原创推荐 2013-01-07 00:04:40 10000+阅读 1点赞 1评论

Linux 3.2中回写机制的变革

writeback机制模型在Linux-3.2新内核中，page cache和buffer cache的刷新机制发生了改变。放弃了原有的pdflush机制，改成了bdi_writeback机制。这种变化主要解决原有pdflush机制存在的一个问题：在多磁盘的系统中，pdflush管理了所有磁盘的page/buffer cache，从而导致一定程度的IO性能瓶颈。

Linux

cache

writeback

原创 2013-01-06 21:20:25 5372 阅读

Kprobe在Linux kernel debug中的应用

一直在做kernel开发方面的工作，也一直苦于kernel debug的困惑，到底如何进行kernel开发的debug的工作？今天经美国同事的推荐，我认为kprobe是一个非常好的debug工具。其本质原理就是在你需要probe的地方放入断点指令，然后在断点处调用你的调试/测试程序，从而可以实现对kernel程序的调试/测试。 Kprobe只是提供了一种机制，使得

linux系统

Linux

Kprobe

Debug

原创推荐 2013-01-05 19:10:20 9112 阅读 2点赞 4评论

对“优秀工程师”的一点感悟

今天在网上看到很多人对自己的IT技术人生路产生了怀疑，大龄工程师有竞争力吗？甚至有人将大龄工程师和“小姐”并论，提出了工程师职业也是青春饭的论断。几年前，我也经常问自己，以后的路该怎么走？能够一直做技术研发吗？做一段研发之后需要转市场或者转管理吗？技术研发有前途吗？现在，我想说的是平庸的技术研发没有前途；没有自己想法的技术研发没有前途；只

工程师

原创推荐 2013-01-03 14:01:18 2835 阅读 6点赞 5评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

存储之道

谈谈重复数据删除

一个IO的传奇一生 (6) --- IO调度器

一个IO的传奇一生 (5) --- 块设备层

新型RAID技术

一个IO的传奇一生 (4) ---- 块设备buffer cache机制

一本不错的处理器软核设计参考书

一个IO的传奇一生 (3) ---- 数据回写

一个IO的传奇一生(2)

一个IO的传奇一生 (1)

innovation

重复数据删除过程中的数据自动分段

畅谈“中断”

RAID技术穷途末路了吗?

打破创新枷锁

加州Tahoe之行

SAS盘和SATA盘之间的区别

存储设备架构分析

存储虚拟化引入的新问题

Linux 中字符设备的注册

Buffer cache和page cache的区别

Linux中文件名解析处理源码分析

影响IO性能的request queue

聆听李凯院士的报告----Disruptive Innovation

基于PCI总线的网络数据传输卡设计

Linux中Buffer cache性能问题一探究竟

利用Kprobe探测内核中的变量

writeback机制源码分析

Linux 3.2中回写机制的变革

Kprobe在Linux kernel debug中的应用

对“优秀工程师”的一点感悟