存储之道-51CTO博客

存储之道

237W+
人气
136
文章
0
关注
160
粉丝

博客之星
专家博主

关注私信

原创 136
翻译 0
转载 0
评论 152
点赞 199

全部

原创
Dynamic Disk Pool技术解析荐
0

传统RAID技术在面临大容量磁盘的时候显得有点力不从心，这主要由于大容量磁盘技术的引入使得RAID的数据重构时间急剧变长，并且整体IO性能也受到了严重影响。所以很多人预测，传统RAID技术作为存储核心的时代即将过去，大容量磁盘的数据管理需要其它的数据保护技术。我也曾经在一些文章中分析过，传统RAID如果不进行架构级别的革新，那么数据重构时间（reconstruction time）和一致性性能（c

wuzhongjie 发布于：2014-06-08

阅读 4292

评论 0

收藏 0
原创
物联网硬件：网络化数据采集系统
0

网络化数据采集系统可以在很多远程监控的场合应用，其主要特点在于采集数据的远程传输。一个典型的网络化数据采集系统电路结构如下图所示：一个数据采集节点通常可以支持多通道并行采样。因此，前端输入通道支持多路并行输入。每路输入信号经过阻抗匹配电路之后进行低通滤波处理。很多接入的传感器信号频率不是很高，因此，需要采用低通滤波器将高频信号滤除（采样预处理），然后接入多通道同步模数转换器

wuzhongjie 发布于：2014-05-28

阅读 1208

评论 0

收藏 0
原创
大数据处理——Hadoop解析（二）：MapReduce
0

大数据处理模型MapReduce （接《大数据处理——Hadoop解析（一）》）大数据时代生产的数据最终是需要进行计算的，存储的目的也就是为了做大数据分析。通过计算、分析、挖掘数据背后的东西，才是大数据的意义所在。Hadoop不仅提供了数据存储的分布式文件系统，更重要的是提供了分布式编程模型和分布式计算系统，通过该编程模型和分布式计算架构可以解决大数据时代所面临的数据处理问题

wuzhongjie 发布于：2014-05-27

阅读 1949

评论 0

收藏 0
原创
基于ARM的数据中心路在何方？荐
1

我们已经了解到百度采用ARM处理器研发数据存储节点。另外，还有一些Startup公司在研发基于ARM的服务器。今年，AMD又宣布开始研发基于ARM的处理器，不再局限于X86处理器架构。这一切都在说明什么？ARM正往数据中心前进。ARM处理器采用RISC的架构，其具有很好的性能/功耗比。对于数据中心而言，低功耗是一个永恒的话题。虽然，在服务器领域，以Intel为首的X86架构一度将MIPS、SPAR

wuzhongjie 发布于：2014-05-25

阅读 7669

评论 2

收藏 0
原创
大数据处理——Hadoop解析（一）
1

概述这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于大数据分析可以做交通流量预测控制；基于大数据分析可以做大型系统故障诊断预测；基于大数据分析可以做客户消费推荐。可以说，大数据时代可以

wuzhongjie 发布于：2014-05-24

阅读 4178

评论 1

收藏 1
原创
EMC产品分析介绍（三）：备份领域的引领者DataDomain （2）
0

Contents1、概述... 2、开创磁盘备份的新模式... 3、重复数据删除... 4、破解磁盘瓶颈点... 5、全局数据消重文件系统DDFS. 6、CPU-Centric存储系统... 7、数据无损体系结构... 8、备份与归档一体化... 9、高效的远程数据复制... 4、破解磁盘瓶颈点&

wuzhongjie 发布于：2014-05-15

阅读 1452

评论 0

收藏 0
原创
PCI9054资料整理荐
0

一、PCI9054概述PCI9054是业界广泛使用的一款PCI总线控制器。可以在PCI数据卡以及CPCI、PXI数据卡的设计中使用。下面对PCI9054的资料进行归纳。 PCI9054是PLX公司生产的PCI总线通用接口芯片，采用先进的PLX数据管道结构技术，提供了两个独立的可编程DMA控制器，每个通达均支持块和分散/集中的DMA方式。本地总线可以编程实现8、16、32位的数

wuzhongjie 发布于：2014-05-14

阅读 6761

评论 0

收藏 0
原创
基于柯西矩阵的Erasure Code技术详解
0

一、概述 Erasure Code可以应用于分布式存储系统中，替代多份数据拷贝的数据冗余方式，从而可以提高存储空间利用率。此外，Erasure code还可以应用于传统RAID系统中，增加数据冗余度，支持多块盘同时发生故障，从而可以提高数据可靠性。采用范德蒙矩阵可以构建Erasure code（关于范德蒙矩阵的编解码方法，可以参考文章《基于范德蒙矩阵的Era

wuzhongjie 发布于：2014-05-12

阅读 10000+

评论 0

收藏 1
原创
PCIe闪存控制器技术解析荐
1

一、PCIe-SSD架构解析 PCIe作为CPU的局部总线，最大的特点在于数据传输吞吐量大和延迟低。对于NandFlash固态存储而言，传统磁盘存储领域存在的随机读写问题将不复存在，因此，整个存储系统的瓶颈从存储介质转移到了传输接口上来了。为存储而生的SATA/SAS接口在SSD上的表现不是那么理想了，非常影响IO的传输延迟。为此，显而易见，存储接口应该从传统的SATA/SAS往离CPU

wuzhongjie 发布于：2014-05-10

阅读 6087

评论 1

收藏 0
原创
EMC收购初创公司DSSD：期待产品发布
2

在昨天的EMC Word上，EMC宣布收购初创公司DSSD。在未来的几年内一定是flash存储高速增长的时代，那么EMC收购DSSD，扩充自己的flash存储产品线完全满足了自身发展的战略需求。这件事件的背后需要关注的是为什么EMC会收购DSSD公司，而不去收购诸如Skyera之类已经有独特产品的公司呢？众所周知，EMC有自己的flash存储产品线XtreamIO，并且也有基于PCIe的

wuzhongjie 发布于：2014-05-06

阅读 1036

评论 2

收藏 0
原创
EMC产品分析介绍（三）：备份领域的引领者DataDomain （1）
0

Contents1、概述... 2、开创磁盘备份的新模式... 3、重复数据删除... 4、破解磁盘瓶颈点... 5、全局数据消重文件系统DDFS. 6、CPU-Centric存储系统... 7、数据无损体系结构... 8、备份与归档一体化... 9、高效的远程数据复制... 1、概述

wuzhongjie 发布于：2014-05-05

阅读 3688

评论 0

收藏 0
原创
基于范德蒙矩阵的Erasure code技术详解荐
0

在传统存储领域，随着磁盘容量的不断增大，RAID数据重构时间将会是一个非常严重的问题。大家知道，过长的数据重构时间意味着数据可靠性下降。所以，在RAID设计的过程中，一定要考虑数据重构的时间，并且尽可能的将“无数据保护状态”的时间降到最小。在不改变传统RAID架构前提下，只能通过增加数据冗余度来缓解大容量磁盘引入的超长数据重构时间的问题。这种思路就好比几年前，当RAID5无法满足过长数据重构时间时

wuzhongjie 发布于：2014-05-04

阅读 9681

评论 0

收藏 0
原创
SSD固态存储大观（二）
2

6、NetApp EF540：全闪存阵列过渡版本如果没有充分考虑Flash存储介质的特性，那么研发一款全Flash盘阵也不是什么难事。在硬件上，最简单的方法就是将原来的磁盘替换成SSD盘，在软件上，将传统RAID进行改进，支持Trim资源回收命令即可。这种简单替代型的全Flash盘阵是很多厂商都可以提供的。个人认为这种全Flash盘阵只是一种过渡版本，当真正符合Flash应用

wuzhongjie 发布于：2014-05-04

阅读 1955

评论 2

收藏 0
原创
SSD固态存储大观(一) 荐
0

Contents1、概述... 12、FusionIO：Pcie SSD的始作俑者... 23、Intel PCIe SSD：传统PCIe SSD卡... 34、华为PCIe SSD卡：创新、追求完美... 55、Memblaze: pcie SSD的国产新星... 56、Net

wuzhongjie 发布于：2014-05-04

阅读 2839

评论 0

收藏 1
原创
EMC存储产品介绍分析（二）：大数据利器Isilon （2）荐
0

3.3.4性能上的线性可扩性OneFS的一个很重要优势在于能够很方便的为用户扩展容量和性能，并且容量和性能的增长近似线性的关系。下图展示了Isilon容量和性能之间的关系：另外一个有效的技术使得Isilon IQ能够达到吞吐量与扩容之间线性增加的关系，这个技术就是InfiniBand。InfiniBand在系统中作为高速、低延迟的后端互连总线。采用InfiniBa

wuzhongjie 发布于：2014-04-29

阅读 3209

评论 0

收藏 0
原创
EMC存储产品介绍分析（二）：大数据利器Isilon （1）
0

1、概述Isilon是EMC收购的NAS集群产品，其最大的特点在于可以进行线性扩展。随着节点数目的增加，Isilon的性能可以线性增长。在大数据时代，和传统的Scale Up存储相比，Isilon是一款很具竞争性的存储产品。2、Cluster Storage存储结构2.1Cluster Storage分类Clustered Storage arch

wuzhongjie 发布于：2014-04-29

阅读 5000

评论 0

收藏 0
原创
Linux中SCSI总线的磁盘扫描与盘符管理
1

1、写在前面Scsi总线在扫描磁盘设备后生成的盘符与设备通道之间的关系是不固定的，其最主要的原因是设计者考虑到scsi总线在系统中不会静态、唯一存在，会动态生成，而盘符空间在全局只有一个，因此，盘符与设备通道之间很难实现绑定，至少这种绑定关系会随着系统中scsi总线的增加而遭到破坏。所以，设计者采用了动态映射的方法维护盘符与设备通道之间的关系。盘符与设备通道之间的动态映射会影响到存储设

wuzhongjie 发布于：2014-04-29

阅读 6415

评论 1

收藏 1
原创
一个IO的传奇一生（12）-- 磁盘阵列1
2

从技术研发者角度看RAID 在一个IO的旅程中基本上都会经历一个非常重要站点，他就是RAID。提起RAID，基本上是无人不晓，每个人都能说上一点。例如RAID5、RAID6之类的概念，此外，RAID可以提高数据可靠性，但是考虑到IO 性能等问题，很多人都会采用硬件RAID卡对IO进行加速。诸如此类的东西，或许大家都知道。从表面上看，RAID似乎很简单，多块磁盘聚合在一起，采用一

wuzhongjie 发布于：2014-04-28

阅读 10000+

评论 0

收藏 0
原创
百度技术开放日见闻
0

今天参加了百度技术开放日，其实今天的百度技术开放日就是推广百度的“大数据引擎”。何谓“大数据引擎”？从技术层面上讲大数据引擎就是分布式存储+大数据分析。百度有百度云以及很多基于搜索的数据分析系统。百度云解决了大规模数据存储的问题；数据分析系统解决了数据处理的问题。因此，从这点上来看，百度有了一套完整的解决大数据所面临的两大主要问题的能力。大家知道在大数据应用的环境下，存储是一个非常难以解决的问题。

wuzhongjie 发布于：2014-04-24

阅读 1029

评论 0

收藏 0
原创
一个IO的传奇一生 (11) -- 块设备层软件堆栈概述荐
1

辗转反侧，一个IO终于从应用层达到了IO Scheduler层，并且经过scheduler调度处理之后准备前往SCSI层，向目的地Disk方向前进。一个IO历尽千辛万苦从应用层来到IO调度器，正准备调度走，回眸往事，不禁潸然泪下，路漫漫，一路走来真是不易！从应用层走到文件系统；在文件系统的Cache中停留许久之后，又被Writeback线程写入到块设备层；经过块设备层的调度处理之后，终于

wuzhongjie 发布于：2014-04-19

阅读 5710

评论 0

收藏 0
原创
EMC存储产品分析介绍 (一)
0

在存储界，EMC是一艘巨型航母，其具有非常完整的产品线，从最普通的磁盘阵列开始到非常高端大气的SSD存储阵列，从支持小企业应用的小规模存储产品，到支持海量存储的云系统，从普通的备份软件到支持海量数据去重的备份系统。EMC都一一提供了解决方案，可以说EMC在存储界打造了一艘无与伦比的航空母舰。面对EMC庞杂的存储系统，很多人都会无从选择。下面通过对EMC产品的特性，以及产品技术进行梳理，从而更好的理

wuzhongjie 发布于：2014-04-18

阅读 10000+

评论 0

收藏 0
原创
一个IO的传奇一生（10）-- CFQ调度算法
0

CFQ调度器算法在相对比较老的Linux中，CFQ机制的实现还比较简单，仅仅是针对不同的thread进行磁盘带宽的公平调度。但是，自从新Kernel引入Cgroup机制之后，CFQ的机制就显得比较复杂了，因为，此时的CFQ不仅可以对IO带宽进行公平调度，更重要的是对磁盘IO进行QoS控制。IO的QoS控制是非常必要的，在同一系统中，不同进程/线程所享有的IO带宽可以是不同的，为了达到此

wuzhongjie 发布于：2014-04-09

阅读 9684

评论 0

收藏 0
原创
一个IO的传奇一生 (9) -- Noop和Deadline调度器
1

Linux中常见IO调度器Noop调度器算法 Noop是Linux中最简单的调度器，这个调度器基本上没做什么特殊的事情，就是把邻近bio进行了合并处理。从IO的QoS角度来看，这个Noop调度器就是太简单了，但是从不同存储介质的特性来看，这个Noop还是有一定用武之地的。例如，对于磁盘介质而言，为了避免磁头抖动，可以通过调度器对写请求进行合并。对于SSD存储介质而言，这个问题不存在了，或

wuzhongjie 发布于：2014-04-09

阅读 10000+

评论 2

收藏 0
原创
我的爷爷
3

去年年初，我的爷爷走了，不再回来了。我的爷爷是个极其平凡的人，平凡的似乎找不出任何的事迹可以描述。但是，在我的心里，爷爷是个极其伟大而不平凡的人，因为我知道他深深地爱着我，并为此付出了很多、很多。我是爷爷奶奶在农村从小带大的，父母为了生活在我很小的时候远离家乡而奔波。80年代的农村和城市完全是两重天。在我的记忆里，很小的时候，很少能吃到纯正的白米饭，住的都是很破的小房子，门是用竹席编成的。在那个年

wuzhongjie 发布于：2014-04-06

阅读 864

评论 0

收藏 0
原创
一个IO的传奇一生(8) -- elevator子系统荐
1

Elevator子系统介绍Elevator子系统是IO 路径上非常重要的组成部分，前面已经分析过，elevator中实现了多种类型的调度器，用于满足不同应用的需求。那么，从整个IO路径的角度来看，elevator这层主要解决IO的QoS问题，通常需要解决如下两大问题：1）Bio的合并问题。主要考虑bio是否可以和scheduler中的某个request进行合并。因为从磁盘的角度来看，临近

wuzhongjie 发布于：2014-04-06

阅读 10000+

评论 5

收藏 0
原创
Software defined技术杂谈
0

在技术领域经常能够听到software defined xxx，例如，software defined network, software defined wireless, software defined storage, software defined data

wuzhongjie 发布于：2014-04-03

阅读 1043

评论 0

收藏 0
原创
架构调整是RAID的出路
0

曾经RAID技术在存储领域独挡一面，为卷管理系统、文件系统提供高效、可靠的数据存储服务。但是，如今随着磁盘容量的不断增大，RAID的数据重构时间大为增加，从而导致数据可靠性难以得到保证。为了解决这个问题，我们可以采用冗余度更高的算法解决多块磁盘发生故障的问题。例如，可以采用RS码实现三块盘冗余算法。但是，这种提高冗余度的方法会带来计算复杂度的问题，本质上还是无法避免单盘数据重构时间过长的问题。针对

wuzhongjie 发布于：2014-04-02

阅读 882

评论 0

收藏 0
原创
一个IO的传奇一生(7) -- IO调度器设计考虑
1

IO调度器设计考虑通过前面的分析已经知道IO调度器主要是为了解决临近IO合并的问题。磁介质存储盘最大的性能瓶颈在于寻道。当用户访问一个指定地址时，磁盘首先需要进行寻道操作，找到访问地址所属的区域。这种操作往往是毫秒级别的，相对于性能不断提升的CPU而言，这种性能显然是不可接受的。所以，磁盘最大的问题在于机械操作引入的寻道时间过长，对外表现就是随机读写性能太差了。为了弥补这种

wuzhongjie 发布于：2014-02-10

阅读 3141

评论 0

收藏 0
原创
看Google收购Nest
0

前天Google收购Nest，引起了业界不小的轰动。看了这个收购案，我还是有一个很大的问号，为什么Nest值这么多钱？32亿美金收购这么一家公司？Nest的价值到底何在？Google收购Nest之后，业界基本是一片掌声：物联网终于落地了，智能家居的春天到了。这种反应犹如当年中国一个伟人一声令下，全国炼钢炼铁，实现赶英超美的梦想！这就是一种伟人效应。Google在业界是一家领袖企业，所以他的收购行为

wuzhongjie 发布于：2014-01-15

阅读 683

评论 0

收藏 1
原创
对wide stripe技术的一点思考荐
0

RAID技术发展到现在遇到了应用瓶颈，其最大的问题在于数据重构时间过长。在漫长的数据重构过程中，多块盘损坏的概率很高。对于RAID6而言，如果第三块盘损坏，那么数据将会彻底丢失。在数据重构过程中，应用数据和重构数据相互竞争有限的IO带宽，导致数据重构时间进一步增加，数据安全性受到严重挑战。面对RAID这样的问题，业内一直在思考我们RAID的技术是否已经走到了历史的尽头。笔者曾经也分析过，业内的很多

wuzhongjie 发布于：2014-01-09

阅读 1197

评论 0

收藏 0

首页
上一页
1
2
3
4
5
下一页
末页
共136条记录

wuzhongjie

分享到朋友圈

这个家伙比较懒，还没有个人介绍

关注技术：嵌入式开发存储 Linux 虚拟化
入住博客：2011-09-30 9.3年

七日热门: 一款优秀的 SDK 接口设计十大原则; WebRTC 的现状和未来：专访 W3C WebRTC Chair Bernard Aboba; 一波爬虫，直接把年终奖干没了; 数据结构之集合和映射; 2020年12PMP备考历程

最新文章: FlashRAID技术白皮书; 报告：NVMe存储系统机遇与挑战; NVMe闪存存储系统设计挑战; NVDIMM在闪存存储中的应用探讨; 面向数据可靠性存储系统设计思想探讨

最新评论: NVMe闪存存储系统设计挑战

wuzhongjie：I have added your wechat, we can talk in detail; 面向数据可靠性存储系统设计思想探讨

wx5ab04b73845f4：才发现您的博客，非常的赞同。非常荣幸能和您有一段时间的合作，为存储二战。目前虽然暂时不能密切合作，但精神不变，大家一起为可靠存储二战。; NVMe设备的性能有多高?

wz2013jy：在超融合存储架构当中，如果用NVME做第一层cache，普通SSD和SAS做第二和第三层，也可以得到不错的性能; RAID2.0核心思想：数据保护与物理资源管理域分离

旭日青海：RAID2.0技术是基于块的存储模式，通过将底层的磁盘切割成均匀大小的存储块CK，多个CK按照一定的规则组成CKG，然后再将CKG切割成extent，多个extent组成Volume卷，最后形成LUn。由于损坏级别是最小的CK块，所以数据重构和恢复时间想对于传统磁盘快了很多。当然由于磁盘的增加，CK坏掉的几率也大大增加，当坏掉的CK达到一定级别，硬盘就会告警、报废了。; SSD内部的IO抖动因素

wuzhongjie：以后会写一些NAND特性相关的文章，多多交流~

最近来访