wuzhongjie的博客_存储技术

报告：NVMe存储系统机遇与挑战

很荣幸能够参加存储联盟主办，同有科技承办的“闪存预见新高峰”技术沙龙活动。在这个会议上和大家一起分享了NVMe存储系统遇到的机遇与挑战，从介质本身的特点、IO处理堆栈遇到的问题出发，给出了一些NVMe存储的设计思路和解决方法。下面是本次会议上分享的资料，希望能够与大家多多交流。（存储之道）

存储

NVMe

原创精选 2017-04-27 20:54:37 4294 阅读 2收藏

NVMe闪存存储系统设计挑战

随着闪存容量的不断提升，价格不断下降，应用的不断增多，推动闪存存储系统替代传统磁盘系统。和传统磁盘系统相比，由于存储介质发生了变化，存储系统设计思考的问题会发生重大变化。这种变化直接体现在存储系统软件架构的改变，即所谓的存储软件栈重构。对于SATA/SAS SSD而言，盘本身的性能受限于接口技术。和磁盘相比，性能有了巨大的提升，但是这种量变还不至于对传统软件栈带来致命打击。对于NVMe SSD而言

NVMe

闪存系统

日志录

原创精选 2017-01-19 15:51:42 5601 阅读 1点赞 2收藏 4评论

NVDIMM在闪存存储中的应用探讨

SSD作为新型存储介质对外暴露成一种通用块设备，传统应用似乎无需任何改变就可以在SSD上运行。在实际应用过程中，传统业务的确可以在SSD上直接运行，但问题是SSD并没有被充分利用，优势没有被充分发挥；更糟糕的是业务的IO特性会导致SSD出现新的问题。例如，在有些应用现场，用户发现SSD的使用寿命被很快耗尽，写放大系统变得很大，使用寿命与预期不同。厂商的写放大系统是在特定的IO Pattern下测算

SSD

NVDIMM

闪存存储

原创推荐 2016-12-20 21:19:01 8630 阅读

NVMe设备的性能有多高?

NVMe SSD是存储盘的演进方向，与SATA/SASSSD相比，NVMe SSD具有10倍以上的性能增长。这主要还是得益于NVMe SSD的多队列技术，通过多队列技术可以将IO访问并行化，从而可以提升系统整体性能。在NVMe存储生态中，SSD技术已经变得非常成熟。Intel、Samsung以及Memblaze公司都已经推出了符合NVMe标准的SSD产品。在服务器端，超微在2015年初

存储

Flash

NVMe

原创推荐 2016-12-01 21:30:20 10000+阅读 1点赞 1收藏 1评论

RAID2.0核心思想：数据保护与物理资源管理域分离

记得在2013年末的时候，开始将存储虚拟化为主导的数据保护技术归纳为RAID2.0。从市场的角度来看，这个一个非常好的概念，一方面可以延续传统RAID的思想，大家可以很容易明白这是一种数据保护技术；另一方面又表述了这是一种传统RAID的技术延伸，而且具有更新换代的意思。在技术发展的过程中，HP称这种技术为virtual RAID；NetApp称之为DDP（Dynamic Disk Pool）。本质

RAID

SSD

DDP

原创推荐 2016-11-26 23:40:15 6341 阅读 3点赞 2收藏 3评论

软件定义闪存存储系统关键技术

去年在中国云计算大会上的讲稿，分享了一点关于软件定义闪存存储系统的想法。

SSD

SDS

闪存存储

原创精选 2016-11-03 17:35:00 3007 阅读 1点赞 1收藏

一种NVMe SSD友好的数据存储系统设计

闪存介质的大规模使用给传统存储系统的设计带来了强烈的冲击，传统存储系统的很多设计理念不再适用于闪存存储系统。传统存储在设计过程中紧紧围绕磁盘抖动问题，所以在数据布局方面会适应磁盘的顺序读写特征。在设计过程中会大量采用内存作为磁盘缓存，利用数据局部性特征过滤掉大量的磁盘操作，并且将小写聚合成大写；在IO调度器方面，通过LBA的调度将地址临近的IO进行聚合，从而可以优化IO Pattern，使得磁盘的

SSD

Storage

NVMe

原创推荐 2016-10-08 15:01:26 6749 阅读 1收藏

谈谈存储软件的无锁设计

面向磁盘设计的存储软件不需要考虑竞争锁带来的性能影响。磁盘存储软件的性能瓶颈点在于磁盘，磁盘抖动会引入极大的性能损耗。因此，传统存储软件的设计不会特别在意处理器的使用效率。曾经对一个存储虚拟化软件进行性能调优，在锁竞争方面做了大量优化，最后也没有达到性能提升的效果，原因就在于存储虚拟化的性能瓶颈点在于磁盘，而不在于处理器的使用效率。正因为如此，在面向磁盘设计的软件中，很多都采用单线程、单队列处理的

SSD

NVMe

多队列

原创推荐 2016-10-04 10:21:35 10000+阅读 1点赞 2收藏 2评论

一个存储交流的报告——闪存存储系统设计

去年年底参加了存储圈的技术交流，做了一个关于闪存存储系统设计的报告。近年来闪存存储系统设计一直是一个非常热门的话题，适应未来存储技术的发展潮流。原有存储系统的很多设计理念需要进行改变，以此适应闪存介质的新特征，这是一个非常庞大的工程。在此和大家分享点滴闪存系统设计的方法，一起讨论。（存储之道）

AFA

闪存系统

闪存阵列

原创精选 2016-09-28 21:20:16 4000 阅读

高性能分布式闪存系统探讨

大家不难发现目前市场上出售的全闪存阵列基本都是采用SATA SSD，其中的原因在于NVMe SSD比SATA SSD贵，SATA SSD目前可以满足绝大多数应用的性能需求。除此之外，其实目前的全闪阵列软件并不能对NVMe SSD进行很好的支持。如果需要支持NVMe SSD，阵列软件还需要做较大规模的调整，例如需要考虑如何充分发挥多核处理器的并发效能，从而解决软件堆栈带来的性能瓶颈问题。在SATA

分布式

闪存存储

原创推荐 2016-09-27 21:16:43 4493 阅读 4点赞 1收藏

在北美闪存峰会上的报告——NVMe SSD数据保护技术

今天在Flash Memory Summit（FMS）峰会上做了关于NVMe SSD数据保护的技术报告。今年是NVMe SSD大规模使用的元年，NVMe SSD在服务器得到了大量支持、互联网大规模部署NVMe SSD、传统行业开始使用NVMe、存储阵列开始向NVMe的方向努力，NVMe SSD将会成为未来的主流存储介质。在NVMe SSD向前推进的过程中，有一个问题不得不需要面对与解决，这个问题就

RAID

NVMe

Data Protection

原创 2016-08-12 15:39:39 2744 阅读

软件对存储性能的影响

存储系统的核心是软件，在磁盘存储时代，存储系统软件设计的好坏似乎对性能的影响并不是很大，很多存储软件的设计并不会去考虑计算机的体系架构，也不用去关心操作系统调度、内存拷贝等因素带来的性能影响。对于磁盘存储，事情的确是这样的，原因在于磁盘的性能远远低于CPU处理和访存性能。磁盘存储的性能瓶颈点就在于磁盘本身，因此过多的体系结构级别、竞争资源同步的优化，不会对存储性能带来显著优化。在很久以

高性能存储

SPDK

原创精选 2016-04-16 23:27:47 4206 阅读 1点赞

Nutanix超融合系统一探究竟

提到存储系统的技术发展趋势，大家普遍会认为超融合与Server SAN是未来主流的发展趋势，会替代传统存储的技术架构。那么超融合与ServerSAN到底有何技术独特性？为何能够会成为未来数据中心存储架构的主流趋势？这种架构到底解决了数据中心的什么问题？这种架构主要需要解决的技术难点在什么地方？在此，存储老吴和大家一起分析一下Nutanix系统，从Nutanix系统来一起看一下这种超融合系统的架构独

SSD

Nutanix

超融合

分布式

原创精选 2015-09-04 21:21:59 10000+阅读 2点赞 2收藏 3评论

影响RAID数据可靠性因素分析

无论是最终用户还是存储系统研发人员，都想知道影响RAID数据可靠性的因素具体有哪些？这些影响因素对数据可靠性具体会导致什么样的影响？对于研发和用户我们可以采用什么样的配置、什么样的技术保证数据可靠性。在此存储老吴和大家一起分享一下影响RAID数据可靠性的几大因素，通过这些分析，我们可以体会到为什么存储虚拟化技术、Erasure Code、多副本会成为技术发展的主流。概括起来，对磁盘存储

RAID

data reliability

数据可靠性

原创推荐 2015-08-23 15:10:50 4741 阅读 3点赞 1评论

你知道RAID中的Write Hole问题吗？

RAID系统中会存在一个称之为Write Hole的问题，这到底是一个什么问题？会给用户带来什么影响？目前开源RAID系统中如何解决这个问题？这类问题需要采用什么方式来解决呢？存储老吴从研发的角度和大家一起分析一下这个问题，看看这个问题的本质以及解决思路。 Write Hole是一种非常形象的描述。对于一个采用条带内部通过校验数据进行数据保护的系统，当应用程序正在更新条带内部数据的时候，

RAID

write hole

atomic write

NVDIMM

原创精选 2015-08-21 09:36:37 10000+阅读 1点赞 1评论

你知道RAID的初始化过程吗?

RAID系统是用来对存储数据进行数据保护的有效手段。在RAID创建过程中往往会存在一个时间极长的系统初始化过程，为什么RAID初始化过程中会存在这样的一个操作呢？这个操作对SSD会导致什么方面的影响呢？存储老吴从技术研发的角度和大家一起对RAID初始化过程进行分析、研究。传统RAID的基本组织结构如下图所示：所有加入RAID Group的盘会按照LBA地址切分成一系列的切片，这些切片被

RAID

SSD

数据一致性

原创推荐 2015-08-09 12:23:30 10000+阅读

硬盘接口技术大观园

来自存储老吴的博客——存储之道目录古老的磁盘接口... 1IDE接口... 1SCSI接口... 3FC接口... 4串行ATA接口... 5SATA接口... 6mSATA接口... 8SATA Express. 10串行SCSI接口... 10SAS接口... 10SAS内部连接线缆... 13SAS外部互连线缆... 17NVMe SSD接口... 21SFF-8639. 21M

SAS

IDE

NVMe

SATA

FC

SCSI

原创推荐 2015-08-02 15:17:34 10000+阅读 12点赞 1收藏 4评论

说说存储虚拟化技术(2)

来自存储老吴的博客——存储之道概述存储虚拟化技术其实不是一个特别新的东西，在很早以前就有了存储虚拟化技术。存储技术发展到今天，虚拟化技术在SSD、RAID、Volume、Scaleout等各个方面都发挥了巨大的作用。记得在2006年的时候，我们实验室做了一个非常宏大的项目叫VSDS，这个项目就是一个典型的存储虚拟化项目。在这个项目中，采用了大量的存储虚拟化技术。首先将磁盘进行虚拟化，通

虚拟化; RAID; Volume; S

原创 2015-07-31 20:54:34 3720 阅读 2点赞 4收藏

说说存储虚拟化技术(1 )

存储虚拟化技术其实不是一个新东西，在很早以前就有了存储虚拟化技术。技术发展到今天，在存储虚拟化技术之上又诞生了其他很多新的概念和技术。记得在2006年的时候，我们实验室在做一个非常宏大的项目叫VSDS，这个项目就是一个典型的存储虚拟化项目。在这个项目中，采用了大量的存储虚拟化技术。首先将磁盘进行虚拟化，通过池化的方式将所有磁盘存储资源进行管理，然后再将磁盘存储池中的资源分配给系统中的存

虚拟化

RAID

LVM

SAN

原创精选 2015-07-31 00:43:08 10000+阅读 1收藏

谈谈软件定义存储

在存储领域，最近一段时间出了太多的新概念，其中包括“软件定义存储”、“Server SAN”以及“云存储”等。很多概念把大家弄的云里雾里，不知所云。那到底什么是软件定义存储？什么是Server SAN？什么是云存储？其实很多存储厂商都没有很好的定义，行业也没有一致的清晰定义。市场、媒体给出的很多都是宏观的解释。在这样一个概念满天飞的年代，不仅用户感觉到困惑，而且技术人员同样会看不清楚未来的技术方向

软件定义存储; 闪存

原创推荐 2015-06-13 23:50:07 10000+阅读 5点赞 2收藏 3评论

双重编解码算法对比

概述双重编解码算法是实现数据保护的关键技术。磁盘阵列中的常用算法是RAID6，其属于Reed-solomon算法范畴。RAID6算法计算复杂度较高，往往需要硬件加速单元的支持。随着闪存技术的发展，新的编解码技术层出不穷，因此有必要了解常用阵列技术的双重编解码算法，通常来讲，常用双重编解码算法主要有如下三种： 1，二维（2D）奇偶校验方法2，EVEN-ODD编码校验法3，Reed-Solo

阵列

RAID6

Reed-solomon

原创推荐 2014-08-30 18:45:35 2795 阅读 1点赞

传统RAID的性能瓶颈点在哪里?

众所周知，传统RAID在数据重构方面表现极差，当一块盘发生故障之后，需要几十个小时才能将故障盘中的数据恢复。特别在数据重构的过程中，上层文件系统的性能也会受到极大的影响。并且在应用数据压力的情况下，数据重构的IO和应用的IO交错在一起，导致恶性循环，使得数据重构和应用IO性能都表现极差。大容量磁盘对传统RAID的最大挑战就在于此。两年前或者更早，存储界的很多公司开始寻找下一代磁盘RAI

RAID

DDP

原创推荐 2014-08-17 23:50:18 10000+阅读 8点赞 12评论

计算和存储的融合

alan.wu@aliyun.com 记得2000年初的时候，中科院计算所的一位同事发表了一篇文章，观点是计算和存储的分离。在那个年代SAN和NAS正在兴起，存储的管理慢慢从服务器中分离出来，独立发展。从而形成了以块接口为代表的存储局域网络（SAN）和文件为接口的网络附属存储（NAS）。当存储从计算资源中分离出来之后，IT架构演化成如下结构： NAS存储网络提供文件

NAS

VSAN

SAN

原创推荐 2014-07-08 00:10:27 4754 阅读 5点赞 1收藏 2评论

Dynamic Disk Pool技术解析

传统RAID技术在面临大容量磁盘的时候显得有点力不从心，这主要由于大容量磁盘技术的引入使得RAID的数据重构时间急剧变长，并且整体IO性能也受到了严重影响。所以很多人预测，传统RAID技术作为存储核心的时代即将过去，大容量磁盘的数据管理需要其它的数据保护技术。我也曾经在一些文章中分析过，传统RAID如果不进行架构级别的革新，那么数据重构时间（reconstruction time）和一致性性能（c

DDP

RAID

virtualization

原创推荐 2014-06-08 23:40:44 5255 阅读

基于柯西矩阵的Erasure Code技术详解

一、概述 Erasure Code可以应用于分布式存储系统中，替代多份数据拷贝的数据冗余方式，从而可以提高存储空间利用率。此外，Erasure code还可以应用于传统RAID系统中，增加数据冗余度，支持多块盘同时发生故障，从而可以提高数据可靠性。采用范德蒙矩阵可以构建Erasure code（关于范德蒙矩阵的编解码方法，可以参考文章《基于范德蒙矩阵的Era

RAID

Erasure code

柯西编码

原创 2014-05-12 22:16:47 10000+阅读 1收藏 1评论

基于范德蒙矩阵的Erasure code技术详解

在传统存储领域，随着磁盘容量的不断增大，RAID数据重构时间将会是一个非常严重的问题。大家知道，过长的数据重构时间意味着数据可靠性下降。所以，在RAID设计的过程中，一定要考虑数据重构的时间，并且尽可能的将“无数据保护状态”的时间降到最小。在不改变传统RAID架构前提下，只能通过增加数据冗余度来缓解大容量磁盘引入的超长数据重构时间的问题。这种思路就好比几年前，当RAID5无法满足过长数据重构时间时

Erasure code

原创推荐 2014-05-04 20:57:31 10000+阅读 1评论

Linux中SCSI总线的磁盘扫描与盘符管理

1、写在前面Scsi总线在扫描磁盘设备后生成的盘符与设备通道之间的关系是不固定的，其最主要的原因是设计者考虑到scsi总线在系统中不会静态、唯一存在，会动态生成，而盘符空间在全局只有一个，因此，盘符与设备通道之间很难实现绑定，至少这种绑定关系会随着系统中scsi总线的增加而遭到破坏。所以，设计者采用了动态映射的方法维护盘符与设备通道之间的关系。盘符与设备通道之间的动态映射会影响到存储设

SCSI Device

原创 2014-04-29 14:23:56 9877 阅读 1点赞 1收藏 1评论

架构调整是RAID的出路

曾经RAID技术在存储领域独挡一面，为卷管理系统、文件系统提供高效、可靠的数据存储服务。但是，如今随着磁盘容量的不断增大，RAID的数据重构时间大为增加，从而导致数据可靠性难以得到保证。为了解决这个问题，我们可以采用冗余度更高的算法解决多块磁盘发生故障的问题。例如，可以采用RS码实现三块盘冗余算法。但是，这种提高冗余度的方法会带来计算复杂度的问题，本质上还是无法避免单盘数据重构时间过长的问题。针对

RAID

原创 2014-04-02 22:52:29 1107 阅读

对wide stripe技术的一点思考

RAID技术发展到现在遇到了应用瓶颈，其最大的问题在于数据重构时间过长。在漫长的数据重构过程中，多块盘损坏的概率很高。对于RAID6而言，如果第三块盘损坏，那么数据将会彻底丢失。在数据重构过程中，应用数据和重构数据相互竞争有限的IO带宽，导致数据重构时间进一步增加，数据安全性受到严重挑战。面对RAID这样的问题，业内一直在思考我们RAID的技术是否已经走到了历史的尽头。笔者曾经也分析过，业内的很多

总结

RAID

stripe

wide

原创推荐 2014-01-09 23:22:16 1694 阅读

谈谈重复数据删除

10年前重复数据删除技术还是存储领域中十分先进的技术手段。10年前李凯带领团队推出了首个基于重复数据删除的备份设备，并且至今一直保持了将近60%的市场份额。不得不说DataDomain的创业是成功的，DataDomain的持续领先是值得骄傲的。DataDomain在创业之初就设置了很强的技术屏障，重复数据删除技术应用的一个很大障碍是如何突破磁盘IO瓶颈。那个时候还没有大容量的SSD盘，只有一些基于

data deduplication

原创 2013-09-17 15:24:10 3237 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	软考资讯	汽车开发者社区

51CTO博客

存储之道