51CTO首页
资讯
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
WOT技术大会
元宇宙大会
收藏本站
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙技术社区视频号

谈谈重复数据删除

10年前重复数据删除技术还是存储领域中十分先进的技术手段。10年前李凯带领团队推出了首个基于重复数据删除的备份设备，并且至今一直保持了将近60%的市场份额。不得不说DataDomain的创业是成功的，DataDomain的持续领先是值得骄傲的。DataDomain在创业之初就设置了很强的技术屏障，重复数据删除技术应用的一个很大障碍是如何突破磁盘IO瓶颈。那个时候还没有大容量的SSD盘，只有一些基于

data deduplication
原创 点赞0 阅读2926 收藏0 评论0 2013-09-17

一个IO的传奇一生 (6) --- IO调度器

IO调度器 当IO旅行到调度器的时候，发现自己受到的待遇竟然很不一样，有些IO倚仗着特权很快就放行了；有些IO迟迟得不到处理，甚至在有些系统中居然饿死！面对这样的现状，IO显然是很不高兴的，凭什么别人就能被很快送到下一个旅程，自己需要在调度器上耗费青春年华？这里是拼爹的时代，人家出身好，人家是读请求，人家就可以很快得到资源。咱们是写请求，出生贫寒，只能等着，但也不会让你饿死。这就是我们常

IO Scheduler
原创 点赞2 阅读10000+ 收藏0 评论2 2013-09-11

一个IO的传奇一生 (5) --- 块设备层

块设备层分析无论是经过EXT3文件系统还是块设备文件,最终都要通过writeback机制将数据刷新到磁盘，除非用户在对文件进行读写的时候采用了DirectIO的方式。为了提高性能，文件系统或者是裸设备都会采用Linux的cache机制对数据读写性能进行优化，因此都会采用writeback回写机制将数据写入磁盘。通过上述分析我们已经知道，writeback机制会调用不同底层设备的address_sp

block device
原创 点赞2 阅读10000+ 收藏1 评论0 2013-09-11
新型RAID技术

新型RAID技术

概述大家知道随着磁盘容量的增大，数据在RAID级别的存储可靠性受到了极大的威胁。其最为突出的问题是磁盘重构时间大为增加，对于RAID6而言三块盘坏的几率也大为增加，与此同时，应用性能在磁盘重构时也大为降低。这就是目前传统RAID所遇到的最棘手的问题，很多存储厂商都在想办法解决目前RAID所遇到的问题。针对RAID所遇到的问题，我想基本有两种解决方案，一种就是像当年从RAID5过渡到RAID6一样，

RAID
Declustered RAID
DDP
原创 推荐 点赞3 阅读4726 收藏1 评论4 2013-09-06

一个IO的传奇一生 (4) ---- 块设备buffer cache机制

 块设备buffer cache机制 在EXT3文件IO踏上新的征程之前，需要介绍一位EXT3文件IO的同伴，他们即将踏上相同的旅程。只不过这位同伴没有经历过EXT3文件系统的精彩，却领略了另外一番略有差别的风情。这位同伴是在块设备写操作时创建诞生的，我们可以称它为块设备IO。在很多应用中都会直接进行块设备操作，我们常用的命令dd就可以进行块设备的读写。例如：dd&n

块设备
buffer cache
原创 推荐 点赞0 阅读10000+ 收藏0 评论0 2013-09-05
一本不错的处理器软核设计参考书

一本不错的处理器软核设计参考书

去年年底的时候买了一本书《兼容ARM9的软核处理器设计》，前一段时间很仔细的进行了阅读，感觉很有参考价值。作者是一位芯片设计工程师，其利用空余时间做了一个很有意思的开源项目，自己采用FPGA实现了一个兼容ARM9处理器的RTL软核。初看到这个想法的时候，我觉得很疯狂，因为想要实现一个ARM9处理器兼容的CPU不是一件容易的事情，处理器内部流水线机制、相关性的处理、各种计算单元的实现，另外还需要去验

FPGA
ARM
原创 点赞0 阅读2368 收藏0 评论0 2013-09-04
一个IO的传奇一生 (3) ---- 数据回写

一个IO的传奇一生 (3) ---- 数据回写

数据回写对于EXT3文件系统而言，在绝大多数情况下，IO请求走到page cache之后就认为这个IO处理已经完成了。用户的IO请求被放入Cache之后，用户操作结束。实际上，此时的IO处境非常的危险，如果系统在此时Crash，那么内存中缓存的数据将会彻底丢失。为了保证数据不丢失，需要有一种机制及时的将缓存中的数据同步（回写）到磁盘。对于2.6.23版本的Linux，采用了Pdflush

writeback
ext3
原创 点赞1 阅读10000+ 收藏1 评论0 2013-09-02
一个IO的传奇一生(2)

一个IO的传奇一生(2)

EXT3文件写操作 如果应用层发起的是一个Word文档的写操作请求，那么通过上述分析，IO会走到sys_write的地方，然后执行file->f_op->write方法。对于EXT3 ，该方法注册的是do_sync_write。Do_sync_write的实现如下：ssize_t do_sync_write(struct file *filp, const char

IO
EXT3
原创 推荐 点赞0 阅读10000+ 收藏0 评论0 2013-09-02
一个IO的传奇一生 (1)

一个IO的传奇一生 (1)

前言前几天同事提议写一篇文章来仔细分析一下一个IO从创建到消亡的整个过程，我觉得这个想法很好，一个IO从创建到消亡经历了千山万水，从软件到硬件涉及到很多很多的技术。一个看似简单的IO读写操作，其实汇集了从计算机软件技术、硬件技术、电子技术、信号处理等各个方面的内容。所以，我想把IO的一生通过自己的认识把他描述一下，让世人看清在执行一个简单的IO操作究竟汇集了多少的智慧！汇集了工程师、科学家多少的心

IO
EXT3
SAS
原创 点赞7 阅读10000+ 收藏4 评论4 2013-09-01

innovation

前几天参加toastmaster活动，做了一下prepared speech，选择了innovation这个话题。在写这个演讲稿的时候，自己也对innovation进行了一点思考，并且采用实际案例的形式对innovation的重要性进行了一些讨论。在此，分享一下我的这篇speech，可能有些观点并不正确，最重要的是激励大家对innovation进行思考。 Do you

innovation
原创 点赞0 阅读1237 收藏0 评论0 2013-08-25
重复数据删除过程中的数据自动分段

重复数据删除过程中的数据自动分段

重复数据删除技术在数据备份领域得到了广泛的应用。通过实践发现，对于备份应用而言可以通过重复数据删除压缩将近20倍左右的数据，从而节约了大量的存储空间。重复数据删除的一个技术难点是如何检索重复数据块？如果采用字节级别的比较，那么整个系统的性能肯定是无法接受的。为了解决这个问题，可以采用数据指纹（fingerprint）的技术手段来检索重复数据块。这种重复数据删除的方法原理很简单。首先将输入的数据流进

deduplication
CDC
原创 推荐 点赞2 阅读2018 收藏0 评论0 2013-08-18

畅谈“中断”

前几天同事做了一个报告讲述中断处理在虚拟化环境中所面临的一些问题。通过这个报告让我想起了中断技术的方方面面，所以想在此畅谈一下中断技术的前世今生。 做计算机/电子技术的人对中断技术再了解不过了，我记得在大学微机原理和单片机技术课程中对中断技术进行了深入的剖析。我是学电子技术的，在很多基于处理器的设计中，大量的采用了中断技术。记得在51单片机中，需要自己去定义中断向量表，然后将中断处理函数

Linux
中断技术
原创 推荐 点赞3 阅读4341 收藏1 评论3 2013-08-14
RAID技术穷途末路了吗?

RAID技术穷途末路了吗?

自从1988年伯克利大学发明RAID(磁盘阵列)技术以来，RAID一直是存储领域的核心，肩负着保护数据的重任。但是随着磁盘容量的不断增大，RAID技术遇到了前所未有的新问题。最大的问题在于在数据重构时间过长，延长了系统degraded时间，增加了多个磁盘故障的概率，降低了数据可靠性。并且在RAID数据重构过程中，RAID自身的Rebuild IO对应用IO造成了影响，直接导致应用IO的p

RAID
原创 点赞3 阅读3735 收藏0 评论2 2013-06-16

打破创新枷锁

我们可以经常看到国外的很多研发工程师可以将自己的想法做成产业，真正实现了“知识改变命运”的人生理想。但是，在国内我们很难做到这一点，这到底是为什么呢？很多人在思考这个问题的时候，潜意识不假思索的回答：这是制度导致的，国内的制度没有国外的制度好。不可否认，这是正确的，国内的企业创新环境没有硅谷好，初创企业很难在资源高度垄断的环境下生存。除了制度、体制因素之外，从我们工程师自身角度来看，我们是不是还有

创新
原创 点赞0 阅读735 收藏0 评论1 2013-05-21
加州Tahoe之行

加州Tahoe之行

硅谷的天气一直非常的好，不管是哪个季节到这里出差，基本上只要一件单衣就可以搞定了。登山Hiking一直是硅谷的传统项目，在天气爽朗的周末，我和几个出差的同事一致决定去游览一下风景迷人的Tahoe。从Santa Clara出发去Tahoe需要4个小时的车程，沿着680高速一路北上，出了San Francisco之后换80高速，一直往东就可以到达Tahoe景区。全程高速，一个人开的

加州
Tahoe
原创 点赞2 阅读1152 收藏1 评论1 2013-05-14
SAS盘和SATA盘之间的区别

SAS盘和SATA盘之间的区别

  很多人一提到SAS盘和SATA盘之后，首先想到的是接口方面的区别，SAS的接口速度比SATA高很多，所以认为SAS盘要比SATA盘快，性能高。其实，接口方面的区别并不是主要的，只是很小的一方面。那么，SAS盘和SATA最大的区别到底在什么地方呢？   这是磁盘内部的剖析图，对于一块磁盘而言，最重要的是驱动电机（Actuator）、磁头（read/write heads

SATA
SAS
原创 点赞6 阅读10000+ 收藏1 评论1 2013-04-27
存储设备架构分析

存储设备架构分析

  磁盘阵列是最常用的存储设备，从最简单的单控磁盘阵列到复杂的矩阵交换结构的多控阵列，可以满足不同级别的应用需求。单控磁盘阵列组成比较简单，其核心是一个RAID控制器，一个机柜中可以配置十多块磁盘，通过RAID控制器实现RAID功能。这种磁盘阵列通常会支持逻辑卷管理的功能，可以将RAID设备池化，然后根据应用需求导出不同的LUN设备。在导出协议这一块，通常会采用ISCSI协议，满足低端

存储设备
集群
Cluster
NUMA
MPP
原创 推荐 点赞2 阅读3925 收藏1 评论0 2013-04-26
存储虚拟化引入的新问题

存储虚拟化引入的新问题

这一段时间一直在考虑一个基于存储虚拟化的系统，从数据可靠性的角度遇到了一个很棘手的问题。 存储虚拟化技术已经在很多领域得到了应用，例如，如下图所示，在Vmware虚拟机环境中为了提高IO的效率，需要采用虚拟虚拟化技术，将多个虚拟机发送的IO请求更好的顺序化，从而提高IO性能。在SSD存储领域，采用虚拟化技术解决Nand Flash的性能损耗问题，平衡Nand Flash块的寿命。在磁盘阵列领域，

存储虚拟化
原创 点赞2 阅读1434 收藏0 评论1 2013-03-05

Linux 中字符设备的注册

  Linux中字符设备的注册过程是比较简单的。我们通常可以调用misc_register()函数来注册一个字符设备。Misc设备是一种字符设备，通过该设备可以将fops请求转发给注册的misc设备，从而实现字符设备的功能。用户调用该接口注册Misc字符设备时，可以动态分配设备Minor号，当获取Minor号之后调用class_simple_device_add()或者device_c

字符设备
原创 点赞0 阅读2426 收藏0 评论0 2013-01-22
Buffer cache和page cache的区别

Buffer cache和page cache的区别

 Page cache和buffer cache到底有什么区别呢？很多时候我们不知道系统在做IO操作的时候到底是走了page cache还是buffer cache？其实，buffer cache和page  cache是Linux中两个比较简单的概念，在此对其总结说明。 Page cache是vfs文件系统层的cache，例如 对于一个ext3文件系统而言，每个文件都会有一

page cache
buffer cache
原创 点赞5 阅读10000+ 收藏0 评论4 2013-01-19

Linux中文件名解析处理源码分析

  前言   Linux中对一个文件进行操作的时候，一件很重要的事情是对文件名进行解析处理，并且找到对应文件的inode对象，然后创建表示文件的file对象。在此，对文件名解析过程，并且如何找到对应inode的过程进行源码分析。分析代码基于Linux-3.2版本。   关键函数分析   不管是通过应用层的API函数还是在内核中打开一个文件，最终

inode
file
dentry
hash
原创 点赞0 阅读6005 收藏0 评论1 2013-01-17
影响IO性能的request queue

影响IO性能的request queue

  最近一段时间在做IO性能对比测试分析的时候发现Linux-3.2的IO性能要比Linux-2.6.23差。在内核中，并发顺序读的情况下（绕过设备的buffer cache），Linux-3.2的性能比Linux-2.6.23有很大差别，性能降低了15%左右。这是为什么呢?   首先看一下 Linux-3.2中测试的IO Stack模型，如下图所示：  

request queue
multipath
原创 点赞1 阅读3579 收藏0 评论2 2013-01-16
聆听李凯院士的报告----Disruptive Innovation

聆听李凯院士的报告----Disruptive Innovation

  今天有幸聆听了普林斯顿大学李凯教授的报告“An Disruptive innovation example: Data Domain, Inc”。李凯教授是美国工程院院士，在学术界和工程界都有极高的威望。第一眼看到李凯院士的感觉就是非常的朴素和平易近人，和国内的企业老总相比，真是有天壤之别。他创建的Data Domain公司开创了Deduplication在

存储
Datadomain
deduplication
原创 点赞0 阅读1680 收藏0 评论2 2013-01-11
基于PCI总线的网络数据传输卡设计

基于PCI总线的网络数据传输卡设计

  在高效数据传输领域，测控领域对基于PCI总线的网络数据传输卡有大量需求，例如分布式采集系统需要通过这种传输卡将数据聚合传输至处理机系统。几年前我研发了基于PCI总线的数据传输卡，研制的硬件板卡如下图所示：   该PCI数据传输卡有如下几个方面的特点： 1，有很大的板载内存，因此，可以将网络数据聚合、缓存。 2，网络部分和PCI部分通过FPGA互联，中间通过FIFO

网络
DMA
PCI
原创 点赞0 阅读1710 收藏0 评论0 2013-01-08
Linux中Buffer cache性能问题一探究竟

Linux中Buffer cache性能问题一探究竟

  1, Buffer cache的作用   为了提高磁盘设备的IO性能，我们采用内存作为磁盘设备的cache。用户操作磁盘设备的时候，首先将数据写入内存，然后再将内存中的脏数据定时刷新到磁盘。这个用作磁盘数据缓存的内存就是所谓的buffer cache。在以前的Linux系统中，有很完善的buffer cache软件层，专门负责磁盘数据的缓存。在磁盘设备的上层往往会架构

buffer cache
IO性能
原创 点赞1 阅读10000+ 收藏0 评论4 2013-01-08

利用Kprobe探测内核中的变量

  今天遇到一个问题，需要探测内核中buffer cache block的大小。我想到了Kprobe这个神奇的工具，并且很好的探测到了内核中的变量值，非常的方便，在此分享一下。   采用dd等工具写设备的时候，是需要经过块设备层的buffer cache，当请求块大小小于buffer cache的block_size时，Linux的策略是首先需要从磁盘load数据至buf

Kprobe
Buffer Cache
原创 点赞0 阅读5364 收藏0 评论0 2013-01-07
writeback机制源码分析

writeback机制源码分析

  writeback相关数据结构   与writeback相关的数据结构主要有： 1，backing_dev_info，该数据结构描述了backing_dev的所有信息，通常块设备的request queue中会包含backing_dev对象。 2，bdi_writeback，该数据结构封装了writeback的内核线程以及需要操作的inode队列。 3，wb_w

Linux
Cache
Writeback
bdi
原创 推荐 点赞1 阅读10000+ 收藏0 评论1 2013-01-07
Linux 3.2中回写机制的变革

Linux 3.2中回写机制的变革

  writeback机制模型   在Linux-3.2新内核中，page cache和buffer cache的刷新机制发生了改变。放弃了原有的pdflush机制，改成了bdi_writeback机制。这种变化主要解决原有pdflush机制存在的一个问题：在多磁盘的系统中，pdflush管理了所有磁盘的page/buffer cache，从而导致一定程度的IO性能瓶颈。

Linux
cache
writeback
原创 点赞0 阅读5063 收藏0 评论0 2013-01-06

Kprobe在Linux kernel debug中的应用

  一直在做kernel开发方面的工作，也一直苦于kernel debug的困惑，到底如何进行kernel开发的debug的工作？今天经美国同事的推荐，我认为kprobe是一个非常好的debug工具。其本质原理就是在你需要probe的地方放入断点指令，然后在断点处调用你的调试/测试程序，从而可以实现对kernel程序的调试/测试。   Kprobe只是提供了一种机制，使得

linux系统
Linux
Kprobe
Debug
原创 推荐 点赞2 阅读8464 收藏0 评论4 2013-01-05

对“优秀工程师”的一点感悟

  今天在网上看到很多人对自己的IT技术人生路产生了怀疑，大龄工程师有竞争力吗？甚至有人将大龄工程师和“小姐”并论，提出了工程师职业也是青春饭的论断。几年前，我也经常问自己，以后的路该怎么走？能够一直做技术研发吗？做一段研发之后需要转市场或者转管理吗？技术研发有前途吗？   现在，我想说的是平庸的技术研发没有前途；没有自己想法的技术研发没有前途；只

工程师
原创 推荐 点赞6 阅读2702 收藏0 评论5 2013-01-03
  • 1
  • 2

Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 网站地图 热门标签
友情链接
开源基础软件社区 51CTO学堂
51CTO