SSD作为新型存储介质对外暴露成一种通用块设备,传统应用似乎无需任何改变就可以在SSD上运行。在实际应用过程中,传统业务的确可以在SSD上直接运行,但问题是SSD并没有被充分利用,优势没有被充分发挥;更糟糕的是业务的IO特性会导致SSD出现新的问题。例如,在有些应用现场,用户发现SSD的使用寿命被很快耗尽,写放大系统变得很大,使用寿命与预期不同。厂商的写放大系统是在特定的IO Pattern下测算
存储系统的设计门槛是比较高的,和计算系统存在的最大区别在于存储系统所承载的是数据,一旦系统出现故障,不仅业务的连续性得不到保障,更为重要的是用户数据将会造成丢失。计算节点发生故障,最多造成业务连续性中断,这是与存储系统相比在可靠性要求方面最大的区别。 十几年前刚刚接触存储系统的研发,当时没有觉得存储有多复杂,不就是把数据按照一定规则存放在磁盘中,并且实现一定的功能,例如数据保护RAID、
NVMe SSD是存储盘的演进方向,与SATA/SASSSD相比,NVMe SSD具有10倍以上的性能增长。这主要还是得益于NVMe SSD的多队列技术,通过多队列技术可以将IO访问并行化,从而可以提升系统整体性能。 在NVMe存储生态中,SSD技术已经变得非常成熟。Intel、Samsung以及Memblaze公司都已经推出了符合NVMe标准的SSD产品。在服务器端,超微在2015年初
记得在2013年末的时候,开始将存储虚拟化为主导的数据保护技术归纳为RAID2.0。从市场的角度来看,这个一个非常好的概念,一方面可以延续传统RAID的思想,大家可以很容易明白这是一种数据保护技术;另一方面又表述了这是一种传统RAID的技术延伸,而且具有更新换代的意思。在技术发展的过程中,HP称这种技术为virtual RAID;NetApp称之为DDP(Dynamic Disk Pool)。本质
与磁盘相比,SSD具有很高的IO性能,但是和磁盘相比,SSD的性能稳定性不如磁盘好。在使用过程中,SSD的性能会发生变化,而不能保持很强的一致性。这是SSD的一个特性,性能会随着时间、使用寿命发生变化。对于存储系统设计而言,这种不确定的性能变化以及抖动都会对系统整体性能造成影响。因此,对于闪存存储系统设计者而言,需要了解SSD内部的工作机制以及熟悉导致IO抖动的因素。 可能大家会说,SS
去年在中国云计算大会上的讲稿,分享了一点关于软件定义闪存存储系统的想法。
闪存介质的大规模使用给传统存储系统的设计带来了强烈的冲击,传统存储系统的很多设计理念不再适用于闪存存储系统。传统存储在设计过程中紧紧围绕磁盘抖动问题,所以在数据布局方面会适应磁盘的顺序读写特征。在设计过程中会大量采用内存作为磁盘缓存,利用数据局部性特征过滤掉大量的磁盘操作,并且将小写聚合成大写;在IO调度器方面,通过LBA的调度将地址临近的IO进行聚合,从而可以优化IO Pattern,使得磁盘的
随着NAND Flash价格的不断下降,NVMe SSD正在慢慢普及。NVMe SSD由于极高的性能常被用作数据缓存,即使NVMe SSD发生故障,数据还在持久化介质中存储,不会导致数据丢失等严重事件。随着NVMe SSD的大量使用,其逐渐被用作持久化存储介质,替代传统磁盘。一旦NVMe SSD被用作持久化介质,便提出了数据保护的需求。传统磁盘采用RAID或者多副本的方式实现数据保护,那么在NVM
面向磁盘设计的存储软件不需要考虑竞争锁带来的性能影响。磁盘存储软件的性能瓶颈点在于磁盘,磁盘抖动会引入极大的性能损耗。因此,传统存储软件的设计不会特别在意处理器的使用效率。曾经对一个存储虚拟化软件进行性能调优,在锁竞争方面做了大量优化,最后也没有达到性能提升的效果,原因就在于存储虚拟化的性能瓶颈点在于磁盘,而不在于处理器的使用效率。正因为如此,在面向磁盘设计的软件中,很多都采用单线程、单队列处理的
去年年底参加了存储圈的技术交流,做了一个关于闪存存储系统设计的报告。近年来闪存存储系统设计一直是一个非常热门的话题,适应未来存储技术的发展潮流。原有存储系统的很多设计理念需要进行改变,以此适应闪存介质的新特征,这是一个非常庞大的工程。在此和大家分享点滴闪存系统设计的方法,一起讨论。(存储之道)
大家不难发现目前市场上出售的全闪存阵列基本都是采用SATA SSD,其中的原因在于NVMe SSD比SATA SSD贵,SATA SSD目前可以满足绝大多数应用的性能需求。除此之外,其实目前的全闪阵列软件并不能对NVMe SSD进行很好的支持。如果需要支持NVMe SSD,阵列软件还需要做较大规模的调整,例如需要考虑如何充分发挥多核处理器的并发效能,从而解决软件堆栈带来的性能瓶颈问题。在SATA
文件系统是访问存储的一种常用方式,目前常用的文件系统都是针对磁盘的特性进行设计的。例如,为了解决磁盘随机小数据访问的问题,在文件系统层面引入了Page cache机制,利用内存缓存对这种访问进行加速。大多数业务都会存在数据局部性,因此,通过这种Page cache机制可以很好的提升文件系统的性能。另外,文件系统的数据布局也会考虑磁盘的特性,元数据聚合存放在一起,这样可以高效的实现元数据的存放,避免
前几个月对近两年Facebook和Google发表的两篇SSD故障分析的文章进行了阅读,并进行了整理。Google的在今年的FAST会议上发表了《Flash Reliability in Production: The Expected and the Unexpected》,在这篇文章中通过收集长达六年的数据对SSD可靠性进行了研究,并且对比了SSD与HDD之间的可靠性差别。Facebook在2
今天在Flash Memory Summit(FMS)峰会上做了关于NVMe SSD数据保护的技术报告。今年是NVMe SSD大规模使用的元年,NVMe SSD在服务器得到了大量支持、互联网大规模部署NVMe SSD、传统行业开始使用NVMe、存储阵列开始向NVMe的方向努力,NVMe SSD将会成为未来的主流存储介质。在NVMe SSD向前推进的过程中,有一个问题不得不需要面对与解决,这个问题就
一直对闪存存储关注的朋友对NVMe SSD一定非常熟悉,NVMe SSD是现如今性能最好的存储盘。这种高性能盘在互联网领域已经得到了大规模应用,但是在行业用户还没有得以大范围普及。很多人对NVMe SSD也许还比较陌生,不知道如何应用该类型盘,并且给自己的业务带来价值。和SATA/SAS SSD以及HDD相比,她到底又有何神秘之处呢?在此我想对NVMe SSD做一些介绍。 提到NVMe
存储系统的核心是软件,在磁盘存储时代,存储系统软件设计的好坏似乎对性能的影响并不是很大,很多存储软件的设计并不会去考虑计算机的体系架构,也不用去关心操作系统调度、内存拷贝等因素带来的性能影响。对于磁盘存储,事情的确是这样的,原因在于磁盘的性能远远低于CPU处理和访存性能。磁盘存储的性能瓶颈点就在于磁盘本身,因此过多的体系结构级别、竞争资源同步的优化,不会对存储性能带来显著优化。 在很久以
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号