wuzhongjie的博客_嵌入式开发,存储,Linux,虚拟化,存储技术,文件系统,互连技术(3)

Intel NVMe SSD新产品一探究竟

前两天Intel发布了新一代的PCIe-SSD，Intel作为信息产业的动力引擎，此次事件不得不高度关注和重视。从2008年开始算起，这是Intel第三次发布固态存储盘了。2008年，Intel发布了SATA接口的固态存储盘X25-M。那款产品令我印象深刻，2008年市场上已经有很多SATA接口的SSD盘了，只是企业级的固态盘还很少。那年，我正在开发基于SSD的缓存系统，因

SSD

NVMe

PCIe

原创推荐 2014-06-10 23:42:49 2682 阅读

Dynamic Disk Pool技术解析

传统RAID技术在面临大容量磁盘的时候显得有点力不从心，这主要由于大容量磁盘技术的引入使得RAID的数据重构时间急剧变长，并且整体IO性能也受到了严重影响。所以很多人预测，传统RAID技术作为存储核心的时代即将过去，大容量磁盘的数据管理需要其它的数据保护技术。我也曾经在一些文章中分析过，传统RAID如果不进行架构级别的革新，那么数据重构时间（reconstruction time）和一致性性能（c

DDP

RAID

virtualization

原创推荐 2014-06-08 23:40:44 5234 阅读

物联网硬件：网络化数据采集系统

网络化数据采集系统可以在很多远程监控的场合应用，其主要特点在于采集数据的远程传输。一个典型的网络化数据采集系统电路结构如下图所示：一个数据采集节点通常可以支持多通道并行采样。因此，前端输入通道支持多路并行输入。每路输入信号经过阻抗匹配电路之后进行低通滤波处理。很多接入的传感器信号频率不是很高，因此，需要采用低通滤波器将高频信号滤除（采样预处理），然后接入多通道同步模数转换器

网络

采集

物联网

原创 2014-05-28 08:29:49 1834 阅读

大数据处理——Hadoop解析（二）：MapReduce

大数据处理模型MapReduce （接《大数据处理——Hadoop解析（一）》）大数据时代生产的数据最终是需要进行计算的，存储的目的也就是为了做大数据分析。通过计算、分析、挖掘数据背后的东西，才是大数据的意义所在。Hadoop不仅提供了数据存储的分布式文件系统，更重要的是提供了分布式编程模型和分布式计算系统，通过该编程模型和分布式计算架构可以解决大数据时代所面临的数据处理问题

mapreduce

Hadoop

原创 2014-05-27 23:20:24 2595 阅读

基于ARM的数据中心路在何方？

我们已经了解到百度采用ARM处理器研发数据存储节点。另外，还有一些Startup公司在研发基于ARM的服务器。今年，AMD又宣布开始研发基于ARM的处理器，不再局限于X86处理器架构。这一切都在说明什么？ARM正往数据中心前进。ARM处理器采用RISC的架构，其具有很好的性能/功耗比。对于数据中心而言，低功耗是一个永恒的话题。虽然，在服务器领域，以Intel为首的X86架构一度将MIPS、SPAR

数据中心

ARM

原创推荐 2014-05-25 00:35:38 8322 阅读 1点赞 2评论

大数据处理——Hadoop解析（一）

概述这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于大数据分析可以做交通流量预测控制；基于大数据分析可以做大型系统故障诊断预测；基于大数据分析可以做客户消费推荐。可以说，大数据时代可以

分布式文件系统

Hadoop

原创 2014-05-24 22:28:39 5740 阅读 1点赞 1收藏 1评论

我的家乡——叠石桥

在泱泱中华地图上，有这么一个似乎并不起眼，有一个非常奇怪名字的地方——叠石桥，那里就是我可爱的家乡。听爷爷讲，家乡人基本都是从崇明岛移民到海门的，主要目的是开垦荒地。如果再往上数几代人，他们是从浙江的嘉兴迁移到崇明岛的，主要目的还是开垦荒地。换句话说，很多叠石桥人、或者海门人的根在浙江嘉兴。这一点从方言就可以得到论证。虽然，历尽时间的磨砺，大江的阻隔，但是，嘉兴片方言还是在

叠石桥

原创 2014-05-20 22:59:27 1914 阅读 1评论

EMC产品分析介绍（三）：备份领域的引领者DataDomain （2）

Contents1、概述... 2、开创磁盘备份的新模式... 3、重复数据删除... 4、破解磁盘瓶颈点... 5、全局数据消重文件系统DDFS. 6、CPU-Centric存储系统... 7、数据无损体系结构... 8、备份与归档一体化... 9、高效的远程数据复制... 4、破解磁盘瓶颈点&

DataDomain

Deduplication

原创 2014-05-15 00:48:09 2297 阅读

PCI9054资料整理

一、PCI9054概述PCI9054是业界广泛使用的一款PCI总线控制器。可以在PCI数据卡以及CPCI、PXI数据卡的设计中使用。下面对PCI9054的资料进行归纳。 PCI9054是PLX公司生产的PCI总线通用接口芯片，采用先进的PLX数据管道结构技术，提供了两个独立的可编程DMA控制器，每个通达均支持块和分散/集中的DMA方式。本地总线可以编程实现8、16、32位的数

PCI

PCI9054

原创推荐 2014-05-14 08:35:59 8280 阅读

基于柯西矩阵的Erasure Code技术详解

一、概述 Erasure Code可以应用于分布式存储系统中，替代多份数据拷贝的数据冗余方式，从而可以提高存储空间利用率。此外，Erasure code还可以应用于传统RAID系统中，增加数据冗余度，支持多块盘同时发生故障，从而可以提高数据可靠性。采用范德蒙矩阵可以构建Erasure code（关于范德蒙矩阵的编解码方法，可以参考文章《基于范德蒙矩阵的Era

RAID

Erasure code

柯西编码

原创 2014-05-12 22:16:47 10000+阅读 1收藏 1评论

PCIe闪存控制器技术解析

一、PCIe-SSD架构解析 PCIe作为CPU的局部总线，最大的特点在于数据传输吞吐量大和延迟低。对于NandFlash固态存储而言，传统磁盘存储领域存在的随机读写问题将不复存在，因此，整个存储系统的瓶颈从存储介质转移到了传输接口上来了。为存储而生的SATA/SAS接口在SSD上的表现不是那么理想了，非常影响IO的传输延迟。为此，显而易见，存储接口应该从传统的SATA/SAS往离CPU

PCIe

闪存控制器

原创推荐 2014-05-10 21:10:35 7647 阅读 1点赞 1评论

EMC收购初创公司DSSD：期待产品发布

在昨天的EMC Word上，EMC宣布收购初创公司DSSD。在未来的几年内一定是flash存储高速增长的时代，那么EMC收购DSSD，扩充自己的flash存储产品线完全满足了自身发展的战略需求。这件事件的背后需要关注的是为什么EMC会收购DSSD公司，而不去收购诸如Skyera之类已经有独特产品的公司呢？众所周知，EMC有自己的flash存储产品线XtreamIO，并且也有基于PCIe的

SSD

DSSD

flash storage

原创 2014-05-06 22:11:00 1392 阅读 2点赞 2评论

EMC产品分析介绍（三）：备份领域的引领者DataDomain （1）

Contents1、概述... 2、开创磁盘备份的新模式... 3、重复数据删除... 4、破解磁盘瓶颈点... 5、全局数据消重文件系统DDFS. 6、CPU-Centric存储系统... 7、数据无损体系结构... 8、备份与归档一体化... 9、高效的远程数据复制... 1、概述

DataDomain

Deduplication

原创 2014-05-05 23:36:32 4736 阅读

基于范德蒙矩阵的Erasure code技术详解

在传统存储领域，随着磁盘容量的不断增大，RAID数据重构时间将会是一个非常严重的问题。大家知道，过长的数据重构时间意味着数据可靠性下降。所以，在RAID设计的过程中，一定要考虑数据重构的时间，并且尽可能的将“无数据保护状态”的时间降到最小。在不改变传统RAID架构前提下，只能通过增加数据冗余度来缓解大容量磁盘引入的超长数据重构时间的问题。这种思路就好比几年前，当RAID5无法满足过长数据重构时间时

Erasure code

原创推荐 2014-05-04 20:57:31 10000+阅读 1评论

SSD固态存储大观（二）

6、NetApp EF540：全闪存阵列过渡版本如果没有充分考虑Flash存储介质的特性，那么研发一款全Flash盘阵也不是什么难事。在硬件上，最简单的方法就是将原来的磁盘替换成SSD盘，在软件上，将传统RAID进行改进，支持Trim资源回收命令即可。这种简单替代型的全Flash盘阵是很多厂商都可以提供的。个人认为这种全Flash盘阵只是一种过渡版本，当真正符合Flash应用

Flsh

SSD盘阵

原创 2014-05-04 00:35:09 2582 阅读 2点赞 2评论

SSD固态存储大观(一)

Contents1、概述... 12、FusionIO：Pcie SSD的始作俑者... 23、Intel PCIe SSD：传统PCIe SSD卡... 34、华为PCIe SSD卡：创新、追求完美... 55、Memblaze: pcie SSD的国产新星... 56、Net

SSD

Flash存储

PCIe

原创推荐 2014-05-04 00:18:51 3582 阅读 1收藏

EMC存储产品介绍分析（二）：大数据利器Isilon （2）

3.3.4性能上的线性可扩性OneFS的一个很重要优势在于能够很方便的为用户扩展容量和性能，并且容量和性能的增长近似线性的关系。下图展示了Isilon容量和性能之间的关系：另外一个有效的技术使得Isilon IQ能够达到吞吐量与扩容之间线性增加的关系，这个技术就是InfiniBand。InfiniBand在系统中作为高速、低延迟的后端互连总线。采用InfiniBa

Isilon

OneFS

原创推荐 2014-04-29 21:58:29 4469 阅读

EMC存储产品介绍分析（二）：大数据利器Isilon （1）

1、概述Isilon是EMC收购的NAS集群产品，其最大的特点在于可以进行线性扩展。随着节点数目的增加，Isilon的性能可以线性增长。在大数据时代，和传统的Scale Up存储相比，Isilon是一款很具竞争性的存储产品。2、Cluster Storage存储结构2.1Cluster Storage分类Clustered Storage arch

RAID

Isilon

原创 2014-04-29 21:45:38 7944 阅读

Linux中SCSI总线的磁盘扫描与盘符管理

1、写在前面Scsi总线在扫描磁盘设备后生成的盘符与设备通道之间的关系是不固定的，其最主要的原因是设计者考虑到scsi总线在系统中不会静态、唯一存在，会动态生成，而盘符空间在全局只有一个，因此，盘符与设备通道之间很难实现绑定，至少这种绑定关系会随着系统中scsi总线的增加而遭到破坏。所以，设计者采用了动态映射的方法维护盘符与设备通道之间的关系。盘符与设备通道之间的动态映射会影响到存储设

SCSI Device

原创 2014-04-29 14:23:56 9769 阅读 1点赞 1收藏 1评论

一个IO的传奇一生（12）-- 磁盘阵列1

从技术研发者角度看RAID 在一个IO的旅程中基本上都会经历一个非常重要站点，他就是RAID。提起RAID，基本上是无人不晓，每个人都能说上一点。例如RAID5、RAID6之类的概念，此外，RAID可以提高数据可靠性，但是考虑到IO 性能等问题，很多人都会采用硬件RAID卡对IO进行加速。诸如此类的东西，或许大家都知道。从表面上看，RAID似乎很简单，多块磁盘聚合在一起，采用一

RAID

原创 2014-04-28 23:14:13 10000+阅读 2点赞

百度技术开放日见闻

今天参加了百度技术开放日，其实今天的百度技术开放日就是推广百度的“大数据引擎”。何谓“大数据引擎”？从技术层面上讲大数据引擎就是分布式存储+大数据分析。百度有百度云以及很多基于搜索的数据分析系统。百度云解决了大规模数据存储的问题；数据分析系统解决了数据处理的问题。因此，从这点上来看，百度有了一套完整的解决大数据所面临的两大主要问题的能力。大家知道在大数据应用的环境下，存储是一个非常难以解决的问题。

大数据

原创 2014-04-24 20:57:59 1352 阅读

一个IO的传奇一生 (11) -- 块设备层软件堆栈概述

辗转反侧，一个IO终于从应用层达到了IO Scheduler层，并且经过scheduler调度处理之后准备前往SCSI层，向目的地Disk方向前进。一个IO历尽千辛万苦从应用层来到IO调度器，正准备调度走，回眸往事，不禁潸然泪下，路漫漫，一路走来真是不易！从应用层走到文件系统；在文件系统的Cache中停留许久之后，又被Writeback线程写入到块设备层；经过块设备层的调度处理之后，终于

RAID

SSD

Snapshot

Volume

原创推荐 2014-04-19 21:22:12 7048 阅读 1点赞

EMC存储产品分析介绍 (一)

在存储界，EMC是一艘巨型航母，其具有非常完整的产品线，从最普通的磁盘阵列开始到非常高端大气的SSD存储阵列，从支持小企业应用的小规模存储产品，到支持海量存储的云系统，从普通的备份软件到支持海量数据去重的备份系统。EMC都一一提供了解决方案，可以说EMC在存储界打造了一艘无与伦比的航空母舰。面对EMC庞杂的存储系统，很多人都会无从选择。下面通过对EMC产品的特性，以及产品技术进行梳理，从而更好的理

VNX

DataDomain

VMAX

原创 2014-04-18 16:30:15 10000+阅读 1收藏

一个IO的传奇一生（10）-- CFQ调度算法

CFQ调度器算法在相对比较老的Linux中，CFQ机制的实现还比较简单，仅仅是针对不同的thread进行磁盘带宽的公平调度。但是，自从新Kernel引入Cgroup机制之后，CFQ的机制就显得比较复杂了，因为，此时的CFQ不仅可以对IO带宽进行公平调度，更重要的是对磁盘IO进行QoS控制。IO的QoS控制是非常必要的，在同一系统中，不同进程/线程所享有的IO带宽可以是不同的，为了达到此

CFQ

原创 2014-04-09 21:18:57 10000+阅读

一个IO的传奇一生 (9) -- Noop和Deadline调度器

Linux中常见IO调度器Noop调度器算法 Noop是Linux中最简单的调度器，这个调度器基本上没做什么特殊的事情，就是把邻近bio进行了合并处理。从IO的QoS角度来看，这个Noop调度器就是太简单了，但是从不同存储介质的特性来看，这个Noop还是有一定用武之地的。例如，对于磁盘介质而言，为了避免磁头抖动，可以通过调度器对写请求进行合并。对于SSD存储介质而言，这个问题不存在了，或

Noop

Deadline

原创 2014-04-09 20:23:51 10000+阅读 2点赞 2评论

我的爷爷

去年年初，我的爷爷走了，不再回来了。我的爷爷是个极其平凡的人，平凡的似乎找不出任何的事迹可以描述。但是，在我的心里，爷爷是个极其伟大而不平凡的人，因为我知道他深深地爱着我，并为此付出了很多、很多。我是爷爷奶奶在农村从小带大的，父母为了生活在我很小的时候远离家乡而奔波。80年代的农村和城市完全是两重天。在我的记忆里，很小的时候，很少能吃到纯正的白米饭，住的都是很破的小房子，门是用竹席编成的。在那个年

爷爷

原创 2014-04-06 20:01:32 1157 阅读 3点赞

一个IO的传奇一生(8) -- elevator子系统

Elevator子系统介绍Elevator子系统是IO 路径上非常重要的组成部分，前面已经分析过，elevator中实现了多种类型的调度器，用于满足不同应用的需求。那么，从整个IO路径的角度来看，elevator这层主要解决IO的QoS问题，通常需要解决如下两大问题：1）Bio的合并问题。主要考虑bio是否可以和scheduler中的某个request进行合并。因为从磁盘的角度来看，临近

elevator

原创推荐 2014-04-06 17:10:18 10000+阅读 1点赞 5评论

Software defined技术杂谈

在技术领域经常能够听到software defined xxx，例如，software defined network, software defined wireless, software defined storage, software defined data

software defined

VIPR

原创 2014-04-03 00:36:38 1739 阅读

架构调整是RAID的出路

曾经RAID技术在存储领域独挡一面，为卷管理系统、文件系统提供高效、可靠的数据存储服务。但是，如今随着磁盘容量的不断增大，RAID的数据重构时间大为增加，从而导致数据可靠性难以得到保证。为了解决这个问题，我们可以采用冗余度更高的算法解决多块磁盘发生故障的问题。例如，可以采用RS码实现三块盘冗余算法。但是，这种提高冗余度的方法会带来计算复杂度的问题，本质上还是无法避免单盘数据重构时间过长的问题。针对

RAID

原创 2014-04-02 22:52:29 1105 阅读

一个IO的传奇一生(7) -- IO调度器设计考虑

IO调度器设计考虑通过前面的分析已经知道IO调度器主要是为了解决临近IO合并的问题。磁介质存储盘最大的性能瓶颈在于寻道。当用户访问一个指定地址时，磁盘首先需要进行寻道操作，找到访问地址所属的区域。这种操作往往是毫秒级别的，相对于性能不断提升的CPU而言，这种性能显然是不可接受的。所以，磁盘最大的问题在于机械操作引入的寻道时间过长，对外表现就是随机读写性能太差了。为了弥补这种

IO调度器; Linux

原创 2014-02-10 23:35:38 4168 阅读 1点赞 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

存储之道

Intel NVMe SSD新产品一探究竟

Dynamic Disk Pool技术解析

物联网硬件：网络化数据采集系统

大数据处理——Hadoop解析（二）：MapReduce

基于ARM的数据中心路在何方？

大数据处理——Hadoop解析（一）

我的家乡——叠石桥

EMC产品分析介绍（三）：备份领域的引领者DataDomain （2）

PCI9054资料整理

基于柯西矩阵的Erasure Code技术详解

PCIe闪存控制器技术解析

EMC收购初创公司DSSD：期待产品发布

EMC产品分析介绍（三）：备份领域的引领者DataDomain （1）

基于范德蒙矩阵的Erasure code技术详解

SSD固态存储大观（二）

SSD固态存储大观(一)

EMC存储产品介绍分析（二）：大数据利器Isilon （2）

EMC存储产品介绍分析（二）：大数据利器Isilon （1）

Linux中SCSI总线的磁盘扫描与盘符管理

一个IO的传奇一生（12）-- 磁盘阵列1

百度技术开放日见闻

一个IO的传奇一生 (11) -- 块设备层软件堆栈概述

EMC存储产品分析介绍 (一)

一个IO的传奇一生（10）-- CFQ调度算法

一个IO的传奇一生 (9) -- Noop和Deadline调度器

我的爷爷

一个IO的传奇一生(8) -- elevator子系统

Software defined技术杂谈

架构调整是RAID的出路

一个IO的传奇一生(7) -- IO调度器设计考虑