2010年伊始,一场大范围的暴雪强寒潮天气席卷华北等地,北京、天津日降雪量均创1951年以来同期历史记录。然而凶猛来袭的寒潮并未给京、津两地人民的日常生活带来过多的烦恼。这一切缘于中央气象台准确,及时的预报为有关部门在第一时间采取措施应对寒潮降温、道路结冰等不利影响提供了科学依据,赢得了主动,最大限度地减少了灾害带来的损失和影响。

与民生国策息息相关的气象研究需要综合多个专业学科的知识,也离不开信息技术广泛、深入的应用,尤其是对气象数据的采集、处理和分析。数据的积累为气象研究提供依据,但随着数据量的不断增长,看似与气象研究无关的存储问题也就浮出了水面。不少气象主管部门都为之苦恼,如何解决海量数据不断扩展的难题,实现动态信息架构?

某气象局选用IBM XIV存储系统的案例或能给大家一些启发。

扩容引发的“蝴蝶效应”

该气象局选中XIV的初衷其实很简单——在有限的空间下实现100TB量级的扩容。

众所周知,传统光纤存储系统的基本原理就是同时运行的磁盘驱动器越多,I/O性能也就越高,性能与磁盘空间利用率成了相互制约的杠杆。长此以往,由于所采用光纤磁盘的最大容量只有300GB,气象局数据中心遇到了难以扩容的瓶颈:庞大的光纤存储系统所占空间已达机房极限——再加磁盘,UPS 也将不堪负荷。

一个存储扩容的需求将导致机房升级,乃至于整个数据中心的改造,这样的“蝴蝶效应”无疑令人懊恼。适时在该气象局看来,陡涨的费用固然是个麻烦,更糟糕的是无法承受长达数月的改造工期。况且,日趋复杂、庞大的光纤存储系统势必造成运维压力与日俱增,这与信息中心力图简化基础设施管理的策略显然也是背道而驰。

XIV化解海量存储之“惑”

“我们的研究工作不仅普遍需要高速海量数据支撑,而且对于存储系统的大规模并发处理能力也很看重。”据了解,气象局每年的数据增量都超过50%,而且随着“人工干预天气”等科研课题的深入,越来越高的计算精度也势必对存储系统提出更高的要求。

回溯选择XIV的缘由,该气象局作为第一批中国用户与其说是运筹帷幄后的存储架构变革,不如说是多方比较后做出的新技术尝试。所幸的是,XIV系统在2009年年初顺利上线,不仅实现了扩容目标,而且大大降低了整体拥有成本。

系统平稳运行半年,将扩容前后的情况两相比较,气象局发现XIV存储系统彻底扭转了传统光纤存储架构动态适应动态变化能力差的局面。在过去的系统里,除非将数据打散重新分配,否则新增磁盘并不改变既有数据存储的位置,并发能力很难得到发挥。但当数据容量已达几百个TB的时候,要做这样的操作谈何容易。而XIV系统具备数据完全虚拟化能力,在任何时间都能实现自动的数据分配。其突破性的并行网格架构,彻底消除了对单个磁盘的依赖。打个比方来说,XIV好比“和谐号”,动力引擎分散安装在每节车厢;即使任何一节车厢的牵引电机出现故障,都不会影响列车高速运行。

动态信息架构带来“意外收获”

XIV存储系统不仅一劳永逸解决了扩容的问题,而且据此建立的动态信息架构还给气象局带来了不少“意外收获”。

首先是降低功耗带来的电费节省。由于XIV系统占地面积只有原存储解决方案的1/3,不仅设备自身的功耗大幅度降低,而且客观上改善了机房内的通风环境,间接缓解了空调制冷的压力。

其次是XIV系统大大简化了海量存储环境下的管理复杂性。气象局的IT运维人员毋须了解存储系统的内部架构,对于物理驱动器和数据存放的位置不用多加考虑,可以将更多的精力放在应用管理上。

与之前的情况相比,基于XIV存储系统的动态信息架构在数据恢复能力上也有先天的优势。过去一块300GB的磁盘如果出现故障,视数据量的充盈需要6-8小时才能恢复。现在XIV的快速重建功能可以将1TB磁盘在30分钟或更短时间内重建,其自动性能优化功能更可实现无须人工介入的自动消除热点功能;全面保障存储系统的可靠性,降低业务受影响的风险。

存储规划应当立足长远

通过引入XIV系统,该气象局虽然在一些重要环节解决了由存储引发的瓶颈问题,但若从全局来看,由于各研究所下辖机房普遍存在异构、管理复杂的问题,下一步的整合、优化工作仍然任重而道远。

专家建议,企业在数据中心筹建阶段就应当立足长远,做好存储规划。特别是对于金融、电信和公共服务部门来说,日后“头痛医头,脚痛医脚”的扩容、优化并不能解决海量数据爆炸性增长的根本问题。在数据中心规模有限的初期,人们容易轻视运维管理的复杂性,或者认为只要随规模的增长加派人手就可以解决问题。但实际上随着数据的累积和应用的扩展,存储管理的问题将变得错综复杂——届时不仅人力有时而穷,而且对多部门协作的要求也会降低管理效率,给业务造成拖累。

做存储规划时站的高一些,看得远一些,才能给信息架构打下坚实的基础。

更多精彩内容请关注:

IBM存储官方微博
IBM存储官方网站