51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

中国闪存论坛演讲报告——全闪存阵列技术

今年10月份的时候参加中国闪存论坛，并有幸通过分论坛演讲的形式和很多朋友一起分享了闪存存储技术。最近一段时间一直在从事闪存存储系统方面的研发，从产品、市场、应用和技术的角度对闪存存储进行过深入的思考，思考之后越发觉得存储的未来在于闪存或者严格意义上说在于半导体介质。这种新型介质的引入，对存储系统的研发、应用都产生了革命性的变化。传统存储技术不能直接满足新介质的需求；新介质的引入对存储技术提出了很多

flash
闪存系统
原创 精选 2014-12-15 23:49:14 1664 阅读

地铁事件对系统稳定性、可用性的思考

昨天晚高峰发生在北京地铁上的一件事情让我心里一直很难受，一个年轻的生命在地铁的两个自动门之间被夹身亡。姑且不论受害者的家属是什么样的一个心情，作为一个普通人，都会觉得非常的惋惜和愤恨。为什么地铁门不止一次的夺走了一条又一条的生命？不要以为这是一个“低概率事件”而默认事情的合理性。如果我们尊重人的生命，那么即使再低的概率也是付出了极高的代价，这种事情就不应该发生。 地铁夹人夺走生命的事情已

高可用
原创 2014-11-08 00:11:29 1546 阅读 1点赞

Linux为何需要为全闪阵列做特殊优化？

这周一参加了在小米公司举办的China Linux Storage and File system workshop会议。该会议主要探讨Linux中的相关存储技术，例如文件系统和RAID等技术，交流的比较多的还是文件系统技术。在这个会议上我代表memblaze做了一个来自产业界的技术交流，主要针对全闪阵列的需求，提出了对Linux中的一些优化需求。应朋友的要求，在此对所做报告作一个简单的介绍，起到

Linux
闪存
原创 推荐 2014-10-25 00:27:30 2769 阅读

中国闪存论坛有感

今天有幸参加了存储届的又一行业盛典中国闪存论坛。学术界、工业界的很多人给出了自己使用闪存、采用闪存优化应用、闪存产品、闪存技术的独特见解。我也有幸通过分论坛给出了自己对闪存技术的一些理解和想法，特别是全闪存阵列的技术发展和挑战。今天也听了很多的技术报告，其中，最吸引我的还是华中科技大学给出的《新型非易失存储器件研究与应用趋势分析》报告。在此和大家简单分享一下。毫无疑问，半导体存储是下一代的主流存储

中国闪存论坛
原创 精选 2014-10-23 21:45:52 2427 阅读 4点赞 2评论

一个IO的传奇一生（14）—— Linux中的MD开源RAID（2）

 续《一个IO的传奇一生（13）—— Linux中的MD开源RAID（1）》 4.6  make_request函数说明函数原型：static int make_request (request_queue_t *q, struct bio * bi)参数：*q，请求队列        

RAID
MD
原创 精选 2014-09-07 11:39:52 5281 阅读

一个IO的传奇一生（13）—— Linux中的MD开源RAID（1）

1、前言 RAID是IO路径中的关键模块，甚至在整个存储系统中，RAID是最为核心和复杂的模块。在Linux操作系统中，提供了一个开源的RAID，那就是MD RAID。该RAID可以实现RAID0、RAID1、RAID5和RAID6的功能，在产业界得到了广泛的应用。MD RAID对外采用块设备的形式导出，因此，通过块设备层的调度，BIO请求会被发送到RAID模块进行进一步的IO处理。在M

RAID
MD
原创 精选 2014-08-31 10:19:49 10000+阅读 1点赞 3评论

双重编解码算法对比

概述双重编解码算法是实现数据保护的关键技术。磁盘阵列中的常用算法是RAID6，其属于Reed-solomon算法范畴。RAID6算法计算复杂度较高，往往需要硬件加速单元的支持。随着闪存技术的发展，新的编解码技术层出不穷，因此有必要了解常用阵列技术的双重编解码算法，通常来讲，常用双重编解码算法主要有如下三种： 1，二维（2D）奇偶校验方法2，EVEN-ODD编码校验法3，Reed-Solo

阵列
RAID6
Reed-solomon
原创 推荐 2014-08-30 18:45:35 2796 阅读 1点赞

如何挖掘NAND Flash的IO性能

NAND Flash芯片是构成SSD的基本存储单元，NAND Flash芯片工艺的发展、结构的变化将会推动整个闪存存储产业的高速发展。在设计闪存存储系统的时候，特别是在设计NAND Flash控制器、SSD盘或者卡的时候，都需要深入的了解NAND Flash的操作方法、接口命令及其时序。一个NAND Flash芯片虽然非常小，采用LGA或者TSOP的封装形式，但是，其内部结构还是非常复杂的。特别是

NAND Flash
Interleave
Die
Plane
原创 推荐 2014-08-24 23:20:52 10000+阅读

剖析XtremIO的XDP技术

在闪存上如何建RAID是存储行业一直关心的一个问题。大家知道传统RAID是不能直接部署到SSD盘上去的，除非采用RAID0或者RAID1的配置方式。如果强行把RAID5或者RAID6部署到SSD上，那么SSD的写放大问题将会变得尤为突出，SSD盘的使用寿命将大打折扣。因此，如何在SSD的基础上构建RAID成为闪存阵列需要考虑的一个问题。 EMC的XtremIO系统是一款非常典型的全闪存阵

SSD
XtremIO
XDP
RAID
原创 精选 2014-08-22 00:02:12 4036 阅读 2点赞 3评论

传统RAID的性能瓶颈点在哪里?

众所周知，传统RAID在数据重构方面表现极差，当一块盘发生故障之后，需要几十个小时才能将故障盘中的数据恢复。特别在数据重构的过程中，上层文件系统的性能也会受到极大的影响。并且在应用数据压力的情况下，数据重构的IO和应用的IO交错在一起，导致恶性循环，使得数据重构和应用IO性能都表现极差。 大容量磁盘对传统RAID的最大挑战就在于此。两年前或者更早，存储界的很多公司开始寻找下一代磁盘RAI

RAID
DDP
原创 推荐 2014-08-17 23:50:18 10000+阅读 8点赞 12评论

华为Dorado全闪存阵列

要问存储届最近最热门的技术是什么？那当属闪存存储技术。要问最近最热门的存储产品是什么？那一定当属全闪存阵列。无论是存储寡头还是初创企业，大家都把目光投向了全闪存阵列。为什么全闪存阵列会有如此大的价值呢？个人认为主要有如下几个方面：1, 随着半导体制程、3DNAND Flash技术的发展推进，NAND Flash无论在成本上还是在容量上都向着有利的一面高速发展。闪存的每GB成本在以每年20%左右的速

SSD
Dorado
All Flash Array
原创 推荐 2014-08-10 20:33:09 5924 阅读 3点赞 4评论

昆山事件的思考

在硅谷出差的时候经常要去购物，买一些手表、电子产品、衣服还有一些吃的。每周一上班的时候都会和美国同事分享一下购物的经历，一方面找一些谈资和美国同事增进感情；另一方面也可以互相分享一下购物经验。在交流的过程中，美国同事都会提到这些东西都是“made in china”。他们很不解为什么我一个中国人需要到美国去买“made in china”的东西，不仅质量好，而且还便宜。我也不解，但是通过其他事件，

产业转型
设计中国
制造中国
原创 2014-08-03 21:00:50 1290 阅读 3点赞

全闪存阵列市场解析

 alan.wu@aliyun.com (吴忠杰) 最近，EMC的XtremIO全闪存阵列市场表现强劲，在短短的六个月之内，给公司带来了超过1亿美元的销售额，成为EMC增长最快的一个产品线。XtremIO这么好的市场表现甚至都超过了公司的预测，并且有望成为2014年闪存阵列的全球销售冠军。XtremIO这么好的表现是否说明全闪存阵列的春天到了呢？种种迹象表明，全闪存阵列市场发展

Flash
SSD
Array
SSA
原创 精选 2014-07-17 23:22:08 1779 阅读 1点赞

计算和存储的融合

alan.wu@aliyun.com 记得2000年初的时候，中科院计算所的一位同事发表了一篇文章，观点是计算和存储的分离。在那个年代SAN和NAS正在兴起，存储的管理慢慢从服务器中分离出来，独立发展。从而形成了以块接口为代表的存储局域网络（SAN）和文件为接口的网络附属存储（NAS）。当存储从计算资源中分离出来之后，IT架构演化成如下结构：  NAS存储网络提供文件

NAS
VSAN
SAN
原创 推荐 2014-07-08 00:10:27 4754 阅读 5点赞 1收藏 2评论

硅谷的支点: 斯坦福大学

今天在整理照片的时候，翻阅出了很多在美国出差时候的照片。景色特别美丽的几张照片是在斯坦福大学拍的。每次去硅谷出差，必去的一个地方就是斯坦福大学。景色宜人是吸引我的一个原因。更为重要的是，斯坦福大学作为硅谷的支点，支撑起了整个硅谷的技术发展。斯坦福大学创新的精神直接或者间接的推动了硅谷的发展。出差硅谷，呼吸一下斯坦福大学的空气，也能让在生活在雾霾下的肺好好净化一下。   

硅谷
innovation
原创 2014-06-30 00:17:23 2403 阅读 1点赞 2评论

备份领军产品DataDomain

 1、概述... 12、开创磁盘备份的新模式... 23、重复数据删除... 44、破解磁盘瓶颈点... 45、全局数据消重文件系统DDFS. 66、CPU-Centric存储系统... 77、数据无损体系结构... 98、高效的远程数据复制... 109，小结... 11  1, 概述 长期以来备份存储领域被磁带介质所统治，其主要原因有两个方面。第一，磁带

EMC
DataDomain
Deduplication
原创 精选 2014-06-27 22:50:11 9293 阅读

分布式一致Hash算法

alan.wu@aliyun.com 在分布式存储中面临的一个重要问题是如何在多个存储节点上分布数据。了解GFS之类文件系统的同学都知道可以采用元数据服务器（MS）的方式决定数据块在存储节点上的分布映射。采用元数据服务器方式可以很好的将数据和元数据分离，访问文件系统命令空间的时候，可以直接从元数据服务器上获取文件的映射信息。基于MS的分布式存储架构如下图所示：  基于

HASH
分布式存储
原创 推荐 2014-06-26 23:32:16 10000+阅读 6点赞 4评论

可以在SSD上建传统RAID吗?

当被问及“在SSD上能否建传统RAID”这个问题的时候，大家的第一反应应该是“可以建，但是需要Trim命令的支持”。在网上也可以看到很多人拿SSD来建RAID，但基本上都会配置成RAID0或者RAID1。很少有人会去建RAID5，这是为什么呢？答案很简单，在SSD基础上如果配置类似于RAID5这样的Parity-RAID，那么SSD的整体性能不能很好的发挥出来，更为重要的是Parity-RAID会

搭建
SSD
RAID
原创 推荐 2014-06-24 14:08:48 10000+阅读 8点赞 6评论

看固态存储厂商在硝烟四起的市场中如何发展？

 alan.wu@aliyun.com 前两天sandisk以11亿美元收购了独领风骚若干年的Fusion-io。熟悉企业级固态存储的看官都应该熟悉Fusion-io。这是一家非常创新的企业，最早推出了采用PCIe为接口的固态存储卡，并且将其部署到服务器中，为数据库等对延迟有要求的应用进行加速，起到了非常好的效果，更为重要的是在fusion-io的引领下，PCIe接口逐渐演变成

SSD
Fusion-io
storage
原创 2014-06-22 11:46:13 1248 阅读 2点赞 1评论

NAND Flash操作技术详解

NAND Flash是构成固态存储的基本存储单元其采用IO的接口方式与控制器相连。控制器对NAND Flash进行操作时需要通过命令交互的方式对NAND Flash进行操作。下面对NAND Flash的操作进行解析可以发现在研发FTL的时候可以充分发掘NAND Flash提供的操作命令来优化读写性能。分析介绍的NAND Flash以Micron提供的MT29F16G08AA为蓝本。该芯片能够提供1

Flash
NAND
SSD
controller
原创 推荐 2014-06-22 01:12:57 10000+阅读 1点赞 1收藏

神秘的Flash Translation Layer （FTL）

 如果仅仅是SSD的使用者，一定不会在意在SSD内部居然还存在一个复杂的软件层Flash Translation Layer（FTL）。其实就是这个FTL才是SSD固态硬盘的软件核心技术。正因为有了FTL，NAND Flash才能被当成硬盘来使用；文件系统才可以直接把SSD当成普通块设备来使用。由于FTL是SSD设计厂商最为重要的核心技术，因此，没有一家厂商愿意透露这方面的技术信息，并且

SSD
FTL
NAND Flash
原创 精选 2014-06-16 22:46:59 10000+阅读 5点赞 2收藏 2评论

Flash存储的故事

Flash存储是存储界的新人和红人。Flash存储系统由于其优异的性能、高效的存储密度和出色的节能特性使得Flash存储有望替代机械磁盘成为企业级存储的核心。未来很有可能所有的数据都会存储在Flash存储介质上面，包括银行、中小企业、互联网、电信等存储大户。当年沉迷于电子设计的时候，没有想到一个小小的Flash居然能够做成一个新兴的存储产业。做电子设计的时候，很多时候需要用到存储芯片，比较老的存储

Flash
NOR
NAND
EEPROM
FTL
原创 推荐 2014-06-14 22:28:42 3314 阅读

采用NAND Flash设计存储设备的挑战在哪里?

对于搞电子设计的工程师而言，NAND Flash是再熟悉不过的东西了。在电子设计的时候，NAND Flash通常作为大容量存储介质，可以类比为PC系统中的磁盘。在电子设计领域，对于小容量存储，还可以采用EEPROM之类的芯片；对于程序存储，可以选择NOR Flash。NOR Flash和NAND Flash之间的差别网上有过很多的讨论，在此不一一列数。NAND Flash作为大容量存储，替代磁盘存

NAND Flash
SSD
原创 精选 2014-06-12 22:39:09 10000+阅读 1点赞 1收藏

Intel NVMe SSD新产品一探究竟

前两天Intel发布了新一代的PCIe-SSD，Intel作为信息产业的动力引擎，此次事件不得不高度关注和重视。  从2008年开始算起，这是Intel第三次发布固态存储盘了。2008年，Intel发布了SATA接口的固态存储盘X25-M。那款产品令我印象深刻，2008年市场上已经有很多SATA接口的SSD盘了，只是企业级的固态盘还很少。那年，我正在开发基于SSD的缓存系统，因

SSD
NVMe
PCIe
原创 推荐 2014-06-10 23:42:49 2689 阅读

Dynamic Disk Pool技术解析

传统RAID技术在面临大容量磁盘的时候显得有点力不从心，这主要由于大容量磁盘技术的引入使得RAID的数据重构时间急剧变长，并且整体IO性能也受到了严重影响。所以很多人预测，传统RAID技术作为存储核心的时代即将过去，大容量磁盘的数据管理需要其它的数据保护技术。我也曾经在一些文章中分析过，传统RAID如果不进行架构级别的革新，那么数据重构时间（reconstruction time）和一致性性能（c

DDP
RAID
virtualization
原创 推荐 2014-06-08 23:40:44 5255 阅读

物联网硬件：网络化数据采集系统

网络化数据采集系统可以在很多远程监控的场合应用，其主要特点在于采集数据的远程传输。一个典型的网络化数据采集系统电路结构如下图所示：  一个数据采集节点通常可以支持多通道并行采样。因此，前端输入通道支持多路并行输入。每路输入信号经过阻抗匹配电路之后进行低通滤波处理。很多接入的传感器信号频率不是很高，因此，需要采用低通滤波器将高频信号滤除（采样预处理），然后接入多通道同步模数转换器

网络
采集
物联网
原创 2014-05-28 08:29:49 1860 阅读

大数据处理——Hadoop解析（二）：MapReduce

 大数据处理模型MapReduce （接《大数据处理——Hadoop解析（一）》）大数据时代生产的数据最终是需要进行计算的，存储的目的也就是为了做大数据分析。通过计算、分析、挖掘数据背后的东西，才是大数据的意义所在。Hadoop不仅提供了数据存储的分布式文件系统，更重要的是提供了分布式编程模型和分布式计算系统，通过该编程模型和分布式计算架构可以解决大数据时代所面临的数据处理问题

mapreduce
Hadoop
原创 2014-05-27 23:20:24 2605 阅读

基于ARM的数据中心路在何方？

我们已经了解到百度采用ARM处理器研发数据存储节点。另外，还有一些Startup公司在研发基于ARM的服务器。今年，AMD又宣布开始研发基于ARM的处理器，不再局限于X86处理器架构。这一切都在说明什么？ARM正往数据中心前进。ARM处理器采用RISC的架构，其具有很好的性能/功耗比。对于数据中心而言，低功耗是一个永恒的话题。虽然，在服务器领域，以Intel为首的X86架构一度将MIPS、SPAR

数据中心
ARM
原创 推荐 2014-05-25 00:35:38 8331 阅读 1点赞 2评论

大数据处理——Hadoop解析（一）

概述 这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于大数据分析可以做交通流量预测控制；基于大数据分析可以做大型系统故障诊断预测；基于大数据分析可以做客户消费推荐。可以说，大数据时代可以

分布式文件系统
Hadoop
原创 2014-05-24 22:28:39 5759 阅读 1点赞 1收藏 1评论

我的家乡——叠石桥

在泱泱中华地图上，有这么一个似乎并不起眼，有一个非常奇怪名字的地方——叠石桥，那里就是我可爱的家乡。  听爷爷讲，家乡人基本都是从崇明岛移民到海门的，主要目的是开垦荒地。如果再往上数几代人，他们是从浙江的嘉兴迁移到崇明岛的，主要目的还是开垦荒地。换句话说，很多叠石桥人、或者海门人的根在浙江嘉兴。这一点从方言就可以得到论证。虽然，历尽时间的磨砺，大江的阻隔，但是，嘉兴片方言还是在

叠石桥
原创 2014-05-20 22:59:27 1933 阅读 1评论
  • 1
  • 2

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区