wuzhongjie的博客_嵌入式开发,存储,Linux,虚拟化,存储技术,文件系统,互连技术

NVDIMM在闪存存储中的应用探讨

SSD作为新型存储介质对外暴露成一种通用块设备，传统应用似乎无需任何改变就可以在SSD上运行。在实际应用过程中，传统业务的确可以在SSD上直接运行，但问题是SSD并没有被充分利用，优势没有被充分发挥；更糟糕的是业务的IO特性会导致SSD出现新的问题。例如，在有些应用现场，用户发现SSD的使用寿命被很快耗尽，写放大系统变得很大，使用寿命与预期不同。厂商的写放大系统是在特定的IO Pattern下测算

SSD

NVDIMM

闪存存储

原创推荐点赞0 阅读7881 收藏0 评论0 2016-12-20

NVMe设备的性能有多高?

NVMe SSD是存储盘的演进方向，与SATA/SASSSD相比，NVMe SSD具有10倍以上的性能增长。这主要还是得益于NVMe SSD的多队列技术，通过多队列技术可以将IO访问并行化，从而可以提升系统整体性能。在NVMe存储生态中，SSD技术已经变得非常成熟。Intel、Samsung以及Memblaze公司都已经推出了符合NVMe标准的SSD产品。在服务器端，超微在2015年初

存储

Flash

NVMe

原创推荐点赞1 阅读10000+ 收藏1 评论1 2016-12-01

RAID2.0核心思想：数据保护与物理资源管理域分离

记得在2013年末的时候，开始将存储虚拟化为主导的数据保护技术归纳为RAID2.0。从市场的角度来看，这个一个非常好的概念，一方面可以延续传统RAID的思想，大家可以很容易明白这是一种数据保护技术；另一方面又表述了这是一种传统RAID的技术延伸，而且具有更新换代的意思。在技术发展的过程中，HP称这种技术为virtual RAID；NetApp称之为DDP（Dynamic Disk Pool）。本质

RAID

SSD

DDP

原创推荐点赞3 阅读5509 收藏2 评论3 2016-11-26

一种NVMe SSD友好的数据存储系统设计

闪存介质的大规模使用给传统存储系统的设计带来了强烈的冲击，传统存储系统的很多设计理念不再适用于闪存存储系统。传统存储在设计过程中紧紧围绕磁盘抖动问题，所以在数据布局方面会适应磁盘的顺序读写特征。在设计过程中会大量采用内存作为磁盘缓存，利用数据局部性特征过滤掉大量的磁盘操作，并且将小写聚合成大写；在IO调度器方面，通过LBA的调度将地址临近的IO进行聚合，从而可以优化IO Pattern，使得磁盘的

SSD

Storage

NVMe

原创推荐点赞0 阅读6058 收藏1 评论0 2016-10-08

谈谈存储软件的无锁设计

面向磁盘设计的存储软件不需要考虑竞争锁带来的性能影响。磁盘存储软件的性能瓶颈点在于磁盘，磁盘抖动会引入极大的性能损耗。因此，传统存储软件的设计不会特别在意处理器的使用效率。曾经对一个存储虚拟化软件进行性能调优，在锁竞争方面做了大量优化，最后也没有达到性能提升的效果，原因就在于存储虚拟化的性能瓶颈点在于磁盘，而不在于处理器的使用效率。正因为如此，在面向磁盘设计的软件中，很多都采用单线程、单队列处理的

SSD

NVMe

多队列

原创推荐点赞1 阅读10000+ 收藏2 评论2 2016-10-04

高性能分布式闪存系统探讨

大家不难发现目前市场上出售的全闪存阵列基本都是采用SATA SSD，其中的原因在于NVMe SSD比SATA SSD贵，SATA SSD目前可以满足绝大多数应用的性能需求。除此之外，其实目前的全闪阵列软件并不能对NVMe SSD进行很好的支持。如果需要支持NVMe SSD，阵列软件还需要做较大规模的调整，例如需要考虑如何充分发挥多核处理器的并发效能，从而解决软件堆栈带来的性能瓶颈问题。在SATA

分布式

闪存存储

原创推荐点赞4 阅读3917 收藏1 评论0 2016-09-27

文件系统在NVMe SSD上的性能表现分析

文件系统是访问存储的一种常用方式，目前常用的文件系统都是针对磁盘的特性进行设计的。例如，为了解决磁盘随机小数据访问的问题，在文件系统层面引入了Page cache机制，利用内存缓存对这种访问进行加速。大多数业务都会存在数据局部性，因此，通过这种Page cache机制可以很好的提升文件系统的性能。另外，文件系统的数据布局也会考虑磁盘的特性，元数据聚合存放在一起，这样可以高效的实现元数据的存放，避免

SSD

Ext4

NVMe

原创推荐点赞1 阅读8613 收藏1 评论1 2016-09-25

SSD数据可靠性问题分析

前几个月对近两年Facebook和Google发表的两篇SSD故障分析的文章进行了阅读，并进行了整理。Google的在今年的FAST会议上发表了《Flash Reliability in Production: The Expected and the Unexpected》，在这篇文章中通过收集长达六年的数据对SSD可靠性进行了研究，并且对比了SSD与HDD之间的可靠性差别。Facebook在2

数据

SSD

可靠性

原创推荐点赞2 阅读6693 收藏1 评论1 2016-09-21

影响RAID数据可靠性因素分析

无论是最终用户还是存储系统研发人员，都想知道影响RAID数据可靠性的因素具体有哪些？这些影响因素对数据可靠性具体会导致什么样的影响？对于研发和用户我们可以采用什么样的配置、什么样的技术保证数据可靠性。在此存储老吴和大家一起分享一下影响RAID数据可靠性的几大因素，通过这些分析，我们可以体会到为什么存储虚拟化技术、Erasure Code、多副本会成为技术发展的主流。概括起来，对磁盘存储

RAID

data reliability

数据可靠性

原创推荐点赞3 阅读4008 收藏0 评论1 2015-08-23

在闪存系统中控制延迟和一致性能的方法

在前两天北美召开的闪存技术峰会上，我代表公司做了一个技术分享报告，报告的题目是《Methods to achieve low latency and consistent performance》。在这个技术报告中提出了控制延迟和获得一致性性能的软件架构RISL。RISL是Random Input Stream Layout的缩写。这是Memblaze的专利技术。通过该技术可以使得SSD数据分布达

SSD

AFA

RISL

原创推荐点赞2 阅读3360 收藏0 评论4 2015-08-19

你知道RAID的初始化过程吗?

RAID系统是用来对存储数据进行数据保护的有效手段。在RAID创建过程中往往会存在一个时间极长的系统初始化过程，为什么RAID初始化过程中会存在这样的一个操作呢？这个操作对SSD会导致什么方面的影响呢？存储老吴从技术研发的角度和大家一起对RAID初始化过程进行分析、研究。传统RAID的基本组织结构如下图所示：所有加入RAID Group的盘会按照LBA地址切分成一系列的切片，这些切片被

RAID

SSD

数据一致性

原创推荐点赞0 阅读8864 收藏0 评论0 2015-08-09

RAID中可以做TRIM操作吗？

不知道大家有没有考虑过这样一个问题：在RAID中是否可以支持TRIM操作？试想在SSD上建立RAID之后，应用软件（文件系统）直接运行在RAID软件之上，那么此时如何通过TRIM命令将SSD中的数据块unmap掉呢？看起来这好像不是一个问题，其实对于RAID而言这是一个比较大的问题。存储老吴可以带领大家从研发人员的角度一探RAID中TRIM所引入的问题，从中也可以一窥用户所应该注意的问

RAID

SSD

TRIM

原创推荐点赞5 阅读10000+ 收藏0 评论3 2015-08-06

硬盘接口技术大观园

来自存储老吴的博客——存储之道目录古老的磁盘接口... 1IDE接口... 1SCSI接口... 3FC接口... 4串行ATA接口... 5SATA接口... 6mSATA接口... 8SATA Express. 10串行SCSI接口... 10SAS接口... 10SAS内部连接线缆... 13SAS外部互连线缆... 17NVMe SSD接口... 21SFF-8639. 21M

SAS

IDE

NVMe

SATA

FC

SCSI

原创推荐点赞12 阅读9999 收藏1 评论4 2015-08-02

SSD上如何进行数据保护？

来自存储老吴的博客--存储之道闪存技术的发展使得其成本下降、容量增加，越来越多的企业级用户也都在考虑如何将闪存SSD技术应用到自己的环境中去，从而解决性能、功耗、体积等存储常见问题。前几年闪存技术主要在互联网领域得到了大量应用，其主要原因在于互联网需要面临大量的访问IO压力，传统的磁盘存储系统无法提供高IOPS的能力，所以，只能借助闪存的高性能来解决互联网发展过程中的难题。所以，今天闪

RAID

SSD

NVMe

原创推荐点赞2 阅读2637 收藏0 评论0 2015-07-28

谈谈软件定义存储

在存储领域，最近一段时间出了太多的新概念，其中包括“软件定义存储”、“Server SAN”以及“云存储”等。很多概念把大家弄的云里雾里，不知所云。那到底什么是软件定义存储？什么是Server SAN？什么是云存储？其实很多存储厂商都没有很好的定义，行业也没有一致的清晰定义。市场、媒体给出的很多都是宏观的解释。在这样一个概念满天飞的年代，不仅用户感觉到困惑，而且技术人员同样会看不清楚未来的技术方向

软件定义存储; 闪存

原创推荐点赞5 阅读10000+ 收藏2 评论3 2015-06-13

海量数据备份归档技术及系统

在去年的一个数据备份的会议上，我和参会人员分享了数据备份系统的相关技术。其中一个观点是随着闪存技术的不断发展，总有一天闪存会成为一种主流的备份介质，其主要原因在于闪存介质的高密特性以及故障的可预测性。当然，由于闪存介质天生的缺陷，在没有强大软件支撑的前提下，目前无法满足备份系统长期数据可靠性的需求。闪存技术发展到今天，面向Nand Flash的FTL技术日趋成熟，而面向SSD的系统级软

备份

数据保护

RAID

闪存

原创推荐点赞2 阅读2828 收藏0 评论2 2015-04-20

非易失内存技术NVDIMM

从技术的角度来看，NAND Flash闪存介质虽然存在擦写次数寿命的问题，但是，配合软件算法、系统级的数据保护技术，NAND Flash的寿命问题变得不再是一个棘手的问题，而NAND Flash更多的优势成为该项技术向前推进的重要动力。采用NAND Flash构建的SSD正快速的替代传统磁盘，已经大面积的在互联网领域得到应用，并且不断向对数据可靠性有要求的企业级市场渗透。 SSD和传统磁

SSD

NVDIMM

NAND Flash

原创推荐点赞1 阅读10000+ 收藏0 评论0 2015-03-07

Linux为何需要为全闪阵列做特殊优化？

这周一参加了在小米公司举办的China Linux Storage and File system workshop会议。该会议主要探讨Linux中的相关存储技术，例如文件系统和RAID等技术，交流的比较多的还是文件系统技术。在这个会议上我代表memblaze做了一个来自产业界的技术交流，主要针对全闪阵列的需求，提出了对Linux中的一些优化需求。应朋友的要求，在此对所做报告作一个简单的介绍，起到

Linux

闪存

原创推荐点赞0 阅读2650 收藏0 评论0 2014-10-25

双重编解码算法对比

概述双重编解码算法是实现数据保护的关键技术。磁盘阵列中的常用算法是RAID6，其属于Reed-solomon算法范畴。RAID6算法计算复杂度较高，往往需要硬件加速单元的支持。随着闪存技术的发展，新的编解码技术层出不穷，因此有必要了解常用阵列技术的双重编解码算法，通常来讲，常用双重编解码算法主要有如下三种： 1，二维（2D）奇偶校验方法2，EVEN-ODD编码校验法3，Reed-Solo

阵列

RAID6

Reed-solomon

原创推荐点赞1 阅读2481 收藏0 评论0 2014-08-30

如何挖掘NAND Flash的IO性能

NAND Flash芯片是构成SSD的基本存储单元，NAND Flash芯片工艺的发展、结构的变化将会推动整个闪存存储产业的高速发展。在设计闪存存储系统的时候，特别是在设计NAND Flash控制器、SSD盘或者卡的时候，都需要深入的了解NAND Flash的操作方法、接口命令及其时序。一个NAND Flash芯片虽然非常小，采用LGA或者TSOP的封装形式，但是，其内部结构还是非常复杂的。特别是

NAND Flash

Interleave

Die

Plane

原创推荐点赞0 阅读10000+ 收藏0 评论0 2014-08-24

传统RAID的性能瓶颈点在哪里?

众所周知，传统RAID在数据重构方面表现极差，当一块盘发生故障之后，需要几十个小时才能将故障盘中的数据恢复。特别在数据重构的过程中，上层文件系统的性能也会受到极大的影响。并且在应用数据压力的情况下，数据重构的IO和应用的IO交错在一起，导致恶性循环，使得数据重构和应用IO性能都表现极差。大容量磁盘对传统RAID的最大挑战就在于此。两年前或者更早，存储界的很多公司开始寻找下一代磁盘RAI

RAID

DDP

原创推荐点赞8 阅读10000+ 收藏0 评论12 2014-08-17

华为Dorado全闪存阵列

SSD

Dorado

All Flash Array

原创推荐点赞3 阅读5763 收藏0 评论4 2014-08-10

计算和存储的融合

alan.wu@aliyun.com 记得2000年初的时候，中科院计算所的一位同事发表了一篇文章，观点是计算和存储的分离。在那个年代SAN和NAS正在兴起，存储的管理慢慢从服务器中分离出来，独立发展。从而形成了以块接口为代表的存储局域网络（SAN）和文件为接口的网络附属存储（NAS）。当存储从计算资源中分离出来之后，IT架构演化成如下结构： NAS存储网络提供文件

NAS

VSAN

SAN

原创推荐点赞5 阅读4555 收藏1 评论2 2014-07-08

分布式一致Hash算法

alan.wu@aliyun.com 在分布式存储中面临的一个重要问题是如何在多个存储节点上分布数据。了解GFS之类文件系统的同学都知道可以采用元数据服务器（MS）的方式决定数据块在存储节点上的分布映射。采用元数据服务器方式可以很好的将数据和元数据分离，访问文件系统命令空间的时候，可以直接从元数据服务器上获取文件的映射信息。基于MS的分布式存储架构如下图所示：基于

HASH

分布式存储

原创推荐点赞6 阅读10000+ 收藏0 评论4 2014-06-26

可以在SSD上建传统RAID吗?

当被问及“在SSD上能否建传统RAID”这个问题的时候，大家的第一反应应该是“可以建，但是需要Trim命令的支持”。在网上也可以看到很多人拿SSD来建RAID，但基本上都会配置成RAID0或者RAID1。很少有人会去建RAID5，这是为什么呢？答案很简单，在SSD基础上如果配置类似于RAID5这样的Parity-RAID，那么SSD的整体性能不能很好的发挥出来，更为重要的是Parity-RAID会

搭建

SSD

RAID

原创推荐点赞8 阅读10000+ 收藏0 评论6 2014-06-24

NAND Flash操作技术详解

NAND Flash是构成固态存储的基本存储单元其采用IO的接口方式与控制器相连。控制器对NAND Flash进行操作时需要通过命令交互的方式对NAND Flash进行操作。下面对NAND Flash的操作进行解析可以发现在研发FTL的时候可以充分发掘NAND Flash提供的操作命令来优化读写性能。分析介绍的NAND Flash以Micron提供的MT29F16G08AA为蓝本。该芯片能够提供1

Flash

NAND

SSD

controller

原创推荐点赞1 阅读10000+ 收藏0 评论0 2014-06-22

Flash存储的故事

Flash存储是存储界的新人和红人。Flash存储系统由于其优异的性能、高效的存储密度和出色的节能特性使得Flash存储有望替代机械磁盘成为企业级存储的核心。未来很有可能所有的数据都会存储在Flash存储介质上面，包括银行、中小企业、互联网、电信等存储大户。当年沉迷于电子设计的时候，没有想到一个小小的Flash居然能够做成一个新兴的存储产业。做电子设计的时候，很多时候需要用到存储芯片，比较老的存储

Flash

NOR

NAND

EEPROM

FTL

原创推荐点赞0 阅读3045 收藏0 评论0 2014-06-14

Intel NVMe SSD新产品一探究竟

前两天Intel发布了新一代的PCIe-SSD，Intel作为信息产业的动力引擎，此次事件不得不高度关注和重视。从2008年开始算起，这是Intel第三次发布固态存储盘了。2008年，Intel发布了SATA接口的固态存储盘X25-M。那款产品令我印象深刻，2008年市场上已经有很多SATA接口的SSD盘了，只是企业级的固态盘还很少。那年，我正在开发基于SSD的缓存系统，因

SSD

NVMe

PCIe

原创推荐点赞0 阅读2438 收藏0 评论0 2014-06-10

Dynamic Disk Pool技术解析

传统RAID技术在面临大容量磁盘的时候显得有点力不从心，这主要由于大容量磁盘技术的引入使得RAID的数据重构时间急剧变长，并且整体IO性能也受到了严重影响。所以很多人预测，传统RAID技术作为存储核心的时代即将过去，大容量磁盘的数据管理需要其它的数据保护技术。我也曾经在一些文章中分析过，传统RAID如果不进行架构级别的革新，那么数据重构时间（reconstruction time）和一致性性能（c

DDP

RAID

virtualization

原创推荐点赞0 阅读5001 收藏0 评论0 2014-06-08

基于ARM的数据中心路在何方？

我们已经了解到百度采用ARM处理器研发数据存储节点。另外，还有一些Startup公司在研发基于ARM的服务器。今年，AMD又宣布开始研发基于ARM的处理器，不再局限于X86处理器架构。这一切都在说明什么？ARM正往数据中心前进。ARM处理器采用RISC的架构，其具有很好的性能/功耗比。对于数据中心而言，低功耗是一个永恒的话题。虽然，在服务器领域，以Intel为首的X86架构一度将MIPS、SPAR

数据中心

ARM

原创推荐点赞1 阅读8201 收藏0 评论2 2014-05-25

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

存储之道