手机随时阅读
新人专享大礼包￥24
51CTO博客开发Alan的技术博客张宇(数据恢复)郭涛的存储世界star&storage李云lanceyan抚琴煮酒实践检验真理passover【毕成功的博客】一只风骚的蚂蚁企业级IT观察贺春旸的技术专栏坐看云起董昊(Robin Dong)冬瓜头数据重现
1 概述FlashRAID是面向NVMe SSD设计的一套软件定义存储系统，在设计之初考虑了新型存储介质的特性以及存在的问题。在系统设计过程中，充分利用了新型介质的特性，并且通过技术革新解决了高性能存储介质的数据保护、性能聚合、资源管理、性能导出以及易于维护管理等方面的问题。FlashRAID在物理资源管理、逻辑资源管理、增强数据保护、性能聚合、数据导出以及存储管理平台方面进行了技术创新，相关技术
很荣幸能够参加存储联盟主办，同有科技承办的“闪存预见新高峰”技术沙龙活动。在这个会议上和大家一起分享了NVMe存储系统遇到的机遇与挑战，从介质本身的特点、IO处理堆栈遇到的问题出发，给出了一些NVMe存储的设计思路和解决方法。下面是本次会议上分享的资料，希望能够与大家多多交流。（存储之道）
随着闪存容量的不断提升，价格不断下降，应用的不断增多，推动闪存存储系统替代传统磁盘系统。和传统磁盘系统相比，由于存储介质发生了变化，存储系统设计思考的问题会发生重大变化。这种变化直接体现在存储系统软件架构的改变，即所谓的存储软件栈重构。对于SATA/SAS SSD而言，盘本身的性能受限于接口技术。和磁盘相比，性能有了巨大的提升，但是这种量变还不至于对传统软件栈带来致命打击。对于NVMe SSD而言
SSD作为新型存储介质对外暴露成一种通用块设备，传统应用似乎无需任何改变就可以在SSD上运行。在实际应用过程中，传统业务的确可以在SSD上直接运行，但问题是SSD并没有被充分利用，优势没有被充分发挥；更糟糕的是业务的IO特性会导致SSD出现新的问题。例如，在有些应用现场，用户发现SSD的使用寿命被很快耗尽，写放大系统变得很大，使用寿命与预期不同。厂商的写放大系统是在特定的IO Pattern下测算
存储系统的设计门槛是比较高的，和计算系统存在的最大区别在于存储系统所承载的是数据，一旦系统出现故障，不仅业务的连续性得不到保障，更为重要的是用户数据将会造成丢失。计算节点发生故障，最多造成业务连续性中断，这是与存储系统相比在可靠性要求方面最大的区别。 十几年前刚刚接触存储系统的研发，当时没有觉得存储有多复杂，不就是把数据按照一定规则存放在磁盘中，并且实现一定的功能，例如数据保护RAID、
NVMe SSD是存储盘的演进方向，与SATA/SASSSD相比，NVMe SSD具有10倍以上的性能增长。这主要还是得益于NVMe SSD的多队列技术，通过多队列技术可以将IO访问并行化，从而可以提升系统整体性能。 在NVMe存储生态中，SSD技术已经变得非常成熟。Intel、Samsung以及Memblaze公司都已经推出了符合NVMe标准的SSD产品。在服务器端，超微在2015年初
记得在2013年末的时候，开始将存储虚拟化为主导的数据保护技术归纳为RAID2.0。从市场的角度来看，这个一个非常好的概念，一方面可以延续传统RAID的思想，大家可以很容易明白这是一种数据保护技术；另一方面又表述了这是一种传统RAID的技术延伸，而且具有更新换代的意思。在技术发展的过程中，HP称这种技术为virtual RAID；NetApp称之为DDP（Dynamic Disk Pool）。本质
与磁盘相比，SSD具有很高的IO性能，但是和磁盘相比，SSD的性能稳定性不如磁盘好。在使用过程中，SSD的性能会发生变化，而不能保持很强的一致性。这是SSD的一个特性，性能会随着时间、使用寿命发生变化。对于存储系统设计而言，这种不确定的性能变化以及抖动都会对系统整体性能造成影响。因此，对于闪存存储系统设计者而言，需要了解SSD内部的工作机制以及熟悉导致IO抖动的因素。 可能大家会说，SS
去年在中国云计算大会上的讲稿，分享了一点关于软件定义闪存存储系统的想法。
闪存介质的大规模使用给传统存储系统的设计带来了强烈的冲击，传统存储系统的很多设计理念不再适用于闪存存储系统。传统存储在设计过程中紧紧围绕磁盘抖动问题，所以在数据布局方面会适应磁盘的顺序读写特征。在设计过程中会大量采用内存作为磁盘缓存，利用数据局部性特征过滤掉大量的磁盘操作，并且将小写聚合成大写；在IO调度器方面，通过LBA的调度将地址临近的IO进行聚合，从而可以优化IO Pattern，使得磁盘的
随着NAND Flash价格的不断下降，NVMe SSD正在慢慢普及。NVMe SSD由于极高的性能常被用作数据缓存，即使NVMe SSD发生故障，数据还在持久化介质中存储，不会导致数据丢失等严重事件。随着NVMe SSD的大量使用，其逐渐被用作持久化存储介质，替代传统磁盘。一旦NVMe SSD被用作持久化介质，便提出了数据保护的需求。传统磁盘采用RAID或者多副本的方式实现数据保护，那么在NVM
面向磁盘设计的存储软件不需要考虑竞争锁带来的性能影响。磁盘存储软件的性能瓶颈点在于磁盘，磁盘抖动会引入极大的性能损耗。因此，传统存储软件的设计不会特别在意处理器的使用效率。曾经对一个存储虚拟化软件进行性能调优，在锁竞争方面做了大量优化，最后也没有达到性能提升的效果，原因就在于存储虚拟化的性能瓶颈点在于磁盘，而不在于处理器的使用效率。正因为如此，在面向磁盘设计的软件中，很多都采用单线程、单队列处理的
去年年底参加了存储圈的技术交流，做了一个关于闪存存储系统设计的报告。近年来闪存存储系统设计一直是一个非常热门的话题，适应未来存储技术的发展潮流。原有存储系统的很多设计理念需要进行改变，以此适应闪存介质的新特征，这是一个非常庞大的工程。在此和大家分享点滴闪存系统设计的方法，一起讨论。（存储之道）
大家不难发现目前市场上出售的全闪存阵列基本都是采用SATA SSD，其中的原因在于NVMe SSD比SATA SSD贵，SATA SSD目前可以满足绝大多数应用的性能需求。除此之外，其实目前的全闪阵列软件并不能对NVMe SSD进行很好的支持。如果需要支持NVMe SSD，阵列软件还需要做较大规模的调整，例如需要考虑如何充分发挥多核处理器的并发效能，从而解决软件堆栈带来的性能瓶颈问题。在SATA
文件系统是访问存储的一种常用方式，目前常用的文件系统都是针对磁盘的特性进行设计的。例如，为了解决磁盘随机小数据访问的问题，在文件系统层面引入了Page cache机制，利用内存缓存对这种访问进行加速。大多数业务都会存在数据局部性，因此，通过这种Page cache机制可以很好的提升文件系统的性能。另外，文件系统的数据布局也会考虑磁盘的特性，元数据聚合存放在一起，这样可以高效的实现元数据的存放，避免
前几个月对近两年Facebook和Google发表的两篇SSD故障分析的文章进行了阅读，并进行了整理。Google的在今年的FAST会议上发表了《Flash Reliability in Production: The Expected and the Unexpected》，在这篇文章中通过收集长达六年的数据对SSD可靠性进行了研究，并且对比了SSD与HDD之间的可靠性差别。Facebook在2
今天在Flash Memory Summit（FMS）峰会上做了关于NVMe SSD数据保护的技术报告。今年是NVMe SSD大规模使用的元年，NVMe SSD在服务器得到了大量支持、互联网大规模部署NVMe SSD、传统行业开始使用NVMe、存储阵列开始向NVMe的方向努力，NVMe SSD将会成为未来的主流存储介质。在NVMe SSD向前推进的过程中，有一个问题不得不需要面对与解决，这个问题就
一直对闪存存储关注的朋友对NVMe SSD一定非常熟悉，NVMe SSD是现如今性能最好的存储盘。这种高性能盘在互联网领域已经得到了大规模应用，但是在行业用户还没有得以大范围普及。很多人对NVMe SSD也许还比较陌生，不知道如何应用该类型盘，并且给自己的业务带来价值。和SATA/SAS SSD以及HDD相比，她到底又有何神秘之处呢？在此我想对NVMe SSD做一些介绍。 提到NVMe
存储系统的核心是软件，在磁盘存储时代，存储系统软件设计的好坏似乎对性能的影响并不是很大，很多存储软件的设计并不会去考虑计算机的体系架构，也不用去关心操作系统调度、内存拷贝等因素带来的性能影响。对于磁盘存储，事情的确是这样的，原因在于磁盘的性能远远低于CPU处理和访存性能。磁盘存储的性能瓶颈点就在于磁盘本身，因此过多的体系结构级别、竞争资源同步的优化，不会对存储性能带来显著优化。 在很久以
在计算机领域，有一个问题一直困扰大家很多年，这个问题就是IO性能瓶颈问题。随着CPU性能的不断提升，IO和CPU之间的性能差距变得越来越大，这种差距也就是计算机领域著名的“剪刀差”问题。围绕着这个“剪刀差”问题，提出了一系列的理论及方法：多级存储、缓存、针对磁盘的性能优化。SSD半导体存储介质的出现，大大缩短了CPU和IO之间的性能差距，使得IO性能在一夜之间提升了几个数量级。最为典型的就是IOP
提到存储系统的技术发展趋势，大家普遍会认为超融合与Server SAN是未来主流的发展趋势，会替代传统存储的技术架构。那么超融合与ServerSAN到底有何技术独特性？为何能够会成为未来数据中心存储架构的主流趋势？这种架构到底解决了数据中心的什么问题？这种架构主要需要解决的技术难点在什么地方？在此，存储老吴和大家一起分析一下Nutanix系统，从Nutanix系统来一起看一下这种超融合系统的架构独
在闪存存储领域，我们可以看到无论在市场、客户还是在研发，大家都在支持NVMe标准，其很重要的一个原因是传统的SCSI已经不能满足性能需求，其变成了存储系统的一个重要性能瓶颈点。从软件层、传输协议效率、软件接口标准、芯片接口、传输链路，传统的SAS/SATA都存在很多不足的地方。今天存储老吴和大家一起分享一下SAS/SATA接口在软件层面的重要性能瓶颈点，从研发的角度来解释为什么SCSI软件层是一个
无论是最终用户还是存储系统研发人员，都想知道影响RAID数据可靠性的因素具体有哪些？这些影响因素对数据可靠性具体会导致什么样的影响？对于研发和用户我们可以采用什么样的配置、什么样的技术保证数据可靠性。在此存储老吴和大家一起分享一下影响RAID数据可靠性的几大因素，通过这些分析，我们可以体会到为什么存储虚拟化技术、Erasure Code、多副本会成为技术发展的主流。 概括起来，对磁盘存储
RAID系统中会存在一个称之为Write Hole的问题，这到底是一个什么问题？会给用户带来什么影响？目前开源RAID系统中如何解决这个问题？这类问题需要采用什么方式来解决呢？存储老吴从研发的角度和大家一起分析一下这个问题，看看这个问题的本质以及解决思路。 Write Hole是一种非常形象的描述。对于一个采用条带内部通过校验数据进行数据保护的系统，当应用程序正在更新条带内部数据的时候，
在前两天北美召开的闪存技术峰会上，我代表公司做了一个技术分享报告，报告的题目是《Methods to achieve low latency and consistent performance》。在这个技术报告中提出了控制延迟和获得一致性性能的软件架构RISL。RISL是Random Input Stream Layout的缩写。这是Memblaze的专利技术。通过该技术可以使得SSD数据分布达
在软件定义一切的时代，存在非常多的概念，很容易混淆。在市场上客户会经常听到“软件定义存储”、“软件定义闪存”等概念，那么本文中所提到的软件定义闪存系统和上面这些概念之间存在什么差别呢？特别是“软件定义闪存系统”和“软件定义闪存”之间有何差别呢？在此我试图通过技术的角度和大家一起分享一下“软件定义闪存系统”的精华所在。 在今年5月份召开的中国云计算大会上，我做了一个主题为“软件定义闪存系统
RAID系统是用来对存储数据进行数据保护的有效手段。在RAID创建过程中往往会存在一个时间极长的系统初始化过程，为什么RAID初始化过程中会存在这样的一个操作呢？这个操作对SSD会导致什么方面的影响呢？存储老吴从技术研发的角度和大家一起对RAID初始化过程进行分析、研究。 传统RAID的基本组织结构如下图所示：所有加入RAID Group的盘会按照LBA地址切分成一系列的切片，这些切片被
不知道大家有没有考虑过这样一个问题：在RAID中是否可以支持TRIM操作？ 试想在SSD上建立RAID之后，应用软件（文件系统）直接运行在RAID软件之上，那么此时如何通过TRIM命令将SSD中的数据块unmap掉呢？看起来这好像不是一个问题，其实对于RAID而言这是一个比较大的问题。存储老吴可以带领大家从研发人员的角度一探RAID中TRIM所引入的问题，从中也可以一窥用户所应该注意的问
来自存储老吴的博客——存储之道 目录古老的磁盘接口... 1IDE接口... 1SCSI接口... 3FC接口... 4串行ATA接口... 5SATA接口... 6mSATA接口... 8SATA Express. 10串行SCSI接口... 10SAS接口... 10SAS内部连接线缆... 13SAS外部互连线缆... 17NVMe SSD接口... 21SFF-8639. 21M
Copyright © 2005-2021 51CTO.COM 版权所有 京ICP证060544号
