11月5日,IBM在成都举办了“智慧信息架构高峰论坛(成都)”。会议期间,中国联通重庆分公司计费结算中心运维部主任曾波接受了记者采访,结合联通重庆分公司计费结算中心应用IBM SVC(存储虚拟化)的经验进行了介绍。
曾波指出,IBM SVC这个产品,我们应该是在全国用得比较早的,可能在2005年,最早一个新的东西出来,大家也有一点怀疑的态度。所以,最早在我们使用的时候也怕出问题,因为有对稳定性的要求,最早是把OA系统、MS这一块放SVC产品里面去。通过几年的运行,没出过什么事,我们起码得到了实际的检验。所以,这次在整个数据“割切”的时候,又把它全部融入进去,因为我们原来营帐这一块单独用的EMC的,后来用的IBM 8000,新到了8000以后,就牵涉到数据的移植,移植都是通过SVC的复制功能,来比较动态地而且是对上层应用来说是透明的,很成功地把它移植过去了。但是花的时间,因为是一个在线系统,不是一个离线的系统,我要保证我的生产没有一点影响,所以花的时间比长,最主要是要把对前台的影响降到最低,所以采取了很多保守的方式和方法。因为在营帐这一块,如果出了事,是没法后退的。就是我有备份的数据,比如磁带,我们现在备份的数据,如此这次“割切”失败,有数据,我只能保证我的数据能够恢复出来。但是根据我们的经验,没有两个星期,这个数据是恢复不起来。作为一个电信行业,整个营帐,人家交话费交不起的,办业务办不起,开通电话开通不起,要停两个星期,我估计这个是没有哪个运营商能够承受得了的。
记者:当时你们为什么在SVC刚刚推出的时候就应用,当时的背景需求是什么?
曾波:背景需求,像今天大会上很多人都讲,信息在磁盘这一级太分散,不好管理。当时IBM向我们推它有这个功能,这个功能是我们向往的,但是这个功能的稳定性和它的可用性,这个东西也没经过实践的考验,我们也不敢大规模地把它上到我的核心系统上面去。
记者:最开始的时候,咱们上的是OA这些系统,后来上了最核心的业务平台,阶段性的“应用”是什么时候开始的?
曾波:核心的就是今年,核心我要移,必须我要有新的存储,正好有了这个项目,反正我们有扩容的项目,扩来一套新的存储,必须要有新的存储来了以后,你才可以把整个拿到里面去,一下解决问题。
记者:我们知道电信行业营帐计费这套系统是很重要的,为什么后来会继续采购IBM的设备?
曾波:SVC存储区虚拟化就有一个芯片底层磁盘品牌的厂家的,作为我来说,我就是一个SVC,里面不管是EMC还是IBM,对于我来说,你刚才提到过,我原来用EMC,我一直用EMC,我原来用IBM就一直用IBM的,作为我们运营商来说,我没法改变,我的成本下不来的,EMC要卖1000万,我就值1000万,就没竞争了。作为我们运营商来说,是不愿意看到这个东西的。
记者:这个数据量的增长是个什么状况,包括未来几年的规划,像3G上来以后?
曾波:3G现在对数据量的要求来说,底层的要求扩了一些东西,但是没有大规模地扩,因为数据量的大小还是和用户量的大小有关,3G只是其中的一个应用,可能我的计费方式,3G包括几块,比如普通传统的打电话的计费方式,这是不会改变的,主要有数据的计费方式,这种计费的方式和用户的使用量是有关系的。现在才开始的,量不太大,所以对存储这一块的要求也不是特别大,但是有,划了一些空间出去。
记者:像你们有没有考虑以后的数据量肯定会越来越大?
曾波:考虑了,可能在每年扩容里面有考虑这个问题,比如我们今年要做一年的预期,像你刚才说的,数据的增长有多大,实际上我们现在营帐这一块如果磁盘裸盘的量可能有80个G左右,但是后来你要做镜像。营帐本身这一块可能接近20个G,根据现在联通的增长量,每年的数据增长可能是在2个G到3个G,这些数据是我的磁盘,像你说的,我的磁盘要保护,我要做IBM的Flash Copy,我要拷贝出来的,数据是1,你的可能是2,如果为了我的稳定性,我拷几份出来,提交“10”个G,所以对存储的需求的应当是比较大的。
记者:有没有通过你们的需求而引发的技术的改变?所有的都是根据厂商出了些什么新技术?
曾波:我觉得是相互的,他们应该是我们有什么需求,他们可能会搞这方面(技术),因为这是用户的需求。新的东西出来,作为厂商来说,他是个生产厂家,必须有新的东西出来,这样才能吸引客户。我觉得是相互的。
记者:对于您提的实施中“细节决定成败”,能否举个例子。
曾波:大家在会场讲这个怎么弄,真的实施的时候就知道,当时我的心情,当时那天我亲自参加割切,我给公司申请就6个小时,当时做到那一步,三盘要花我四个小时的时间,三盘我们的规划时间是20分钟,在我整个6个小时的规划是20分钟,到了那一步我怎么办。而且这个东西也有风险,后来我们找到一个方法,上软件,如果没解决这个问题,我采纳了他那个方案,实际上也冒着险,为什么冒着险,如果这个步骤下去,你还不行,那天割结恢复,你到早上七点钟都恢复不了。所以,很多细节的东西,可能上场规划的时候,我就插一根线,这儿给你连上去,实际上也没这么简单的,包括原来是IBM主机,直接通过EMC软件,看EMC磁盘,我要它弄到SVC上面来,这个东西我能不能把EMC的东西删掉,换成IBM的东西,但能不能保证磁盘里面的数据格式是不是一点没变,每个厂家对磁盘的定义,他的软件他来控制,你的软件你来控制,这个是有差异的,和SVC不一样,SVC进去了以后,它是一个统一的,但是进去之前是有差别的。那么,我们就要做测试系统必须要有它,要注册,测试系统还要找原来生产EMC的盘,又要调它的东西,要拿几块盘来做测试。包括删盘的动作,我也做了测试,就两块盘,两块盘几分钟删掉了就删掉了,就是这个细节,生产系统是150块盘,三分钟一块,400个分钟,我就没法弄了。
很多细节,实施的细节,有一个好的计划,有一个好的方案,必须要有一个非常有经验的实施的人,这样整个东西才做得下来。这套东西,作为重庆联通,当时如果第一天实施不成功,那么可能这个项目就搁不上去了,就是IBM再跑到联通来,跑到我们领导那儿去,就是上一层的领导,没有问题,肯定没问题,但是已经出了事,把人家的生产、应用耽误了一天或者两天,这个事也就废了,起码在重庆联通几年之内都不能上这个东西。好的规划,好的产品,好的实施,一个综合的东西,我的经验就是这儿。
记者:重庆联通现在的软件容灾这部分是怎么弄的?
曾波:整个容灾的项目,明年没考虑,因为像联通这种企业,资金规划、项目这些不是分公司说了算,有个总部,比如总部明年要投入容灾,可能要先试点几个省,但是据我所知,联通这一块在明年之内没有容灾的考虑。
当时SVC有考虑给容灾打一个伏笔,但是要有项目要有资金,做这个没有出处就没法弄。
记者:所以你现在BOSS里面一些核心的概念就是OA了,会有计划推广整套的系统吗?
曾波:它的技术实施应该是没有问题的,原则上我们的考虑,因为系统多了,我们一般还是没有纳入SVC的管理,做过测试,能够上去用也可以做这些功能。因为有些不太重要的,比如结算,它也有存储,它的量也不小,但是它的数据的重要性,比如容灾,我肯定首要的不会考虑结算的问题,它的数据掉了,我就要从原始库恢复,比如结算的事情,一个月算两天,两天结算报告要出来,他就没有,这些东西我还是暂时短期内没大算到SVC里面来,因为SVC里面相当于跨着磁盘,管的东西太多,SVC本身也有新的,也要考虑它的配置,都需要投资的。
记者:我是想了解一些过程,从2006年,你们最早用的是谁的系统;有哪些新的功能比较吸引你们?
曾波:有很多新的功能,作为我这儿,我比较感兴趣和比较看中的就是它有一些复制的功能,异构磁盘把它差别屏蔽的功能,因为可能很多功能和具体的应用是有关系的,就他说的重复数据的删除,还有其他的东西,我没有深研究,但是这些东西的实施,我估计不简单在存储这一级能够单独实施的,我估计它要和上层应用统一调整的时候才能够实施。就包括今天他们发布8700,8700有一个很吸引我的功能,它会动态地把热点的数据弄到SSD盘上面去。我后来也没机会问,如果是我,我会问这个功能能够实现吗?我不会怀疑它,肯定能够实现。但是这个热点数据是变化的,如果你拷到SSD盘上,因为和应用有关系,比如我们作为运营商来说,这个用户的资料和话单在当月最近的是热点的数据,可能等到两到三个月这个数据就不是热点的了,它在8700上面是动态的。
这个是比较有吸引力的,我做这么久,实际上系统发生故障或者慢的原因,往往就是几个表发生了这个原因,几个热点的表并发竞争,或者有些人在管理不善的情况下,经验不太多的人上去,后台去查询的时候,可能说你没有用好,或者其他原因,造成了I/O下去非常大,这种时候对性能有要求。但是如果它能够动态地,我觉得是非常好的。这个东西是8700的功能和SVC没有关系。SVC就几块,屏蔽,复制,复制包括几块,本地的备份,现在大家把容灾看作必须要远距离才叫容灾。我觉得近距离也叫容灾,只能说包含着的没有那么广,但是作为我们的应用,最常遇到的可能就是人为的操作,作为我搞预警的,人误删了一个表,这种人为的概率往往比其他的概率还高得多。
记者:重庆联通在信息化方面投入和优化的比例大吗?
曾波:在全国来说应该算大的,我上次看了一下,整个信息化IT投资占全国投资4%还是5%。(联通建立以来总共投资)
记者:SVC的存储虚拟化解决方案相较于你们其他的备选方案有什么优势?
曾波:如果少量地投,SVC可能贵一些,但是量大了以后,主机多了以后,SVC可能成本低一些,因为那种不适合存储,不管你几个存储,是按主机卖的,必定一台机器一定要有一个注册,SVC是整个一块,你接上去就行,你用三台主机是它,比如你系统扩展五台或者几台。
记者:我们对于固态盘的需求怎样?
曾波:这一块有考虑,就是看成本怎么样,因为固态的,我上次看到有一个产品,是实验室的,它就是一块固态的,它的流量每秒200Mb/s,这是一个什么概念,就一个中档盘的性能,它一块盘能达到这个性能,中档盘块,100块盘达到的性能它一块盘就能达到。性能对我们来说很有吸引力,最主要是性价比,性价比能不能承受这个东西。
需求有,需求就要区分,热点数据我需要,不是全部数据都需要,实际上我现在在考虑一个很大的问题,包括我们原来几年前也在提,但是怎么解决这个问题,一直没有解决好,就是信息的生命周期,包括我们现在应用的那个,比如一个用户,所有的缴费、办业务的日子,我现在在数据库里面是永久保存的,你可能办的是三年前、四年前、五年前的数据都在,但是国家没有一个政策,没有一个规范,几年前的东西我不让他查询了,会造成一个问题,可能这个东西,我现在放出去以后,就放到企业级盘柜里面,但是这个数据可能几年都查不到一次,这个用户可能一辈子不来投诉,这个数据一辈子都不查,但是必须放哪儿。
记者:我想问一下,DS8000的项目什么时候上的?
曾波:今年6月份开始上的DS8000,上是上得很早。这次SVC的项目今年又有一台8000,现在是两台8000,2006年就有8000。
记者:我想了解一下,就是在咱们这个部门,现在从事在技术这一块的人员配比大概有多少?感觉咱们在这一块的要求是比较高的,而且有这么多产品,要保证它的正确性、安全性、可靠性?
曾波:我们就三到四个人,底层平台的,我们是这样,我们的架构最主要的人都是在应用软件这一层,搞应用软件可能有三十个人,做底层的就四五个人,因为底层这个东西相对来说是一个通用的产品,它不像做应用,可能等两年换其他家的,再有这类人也比较难找,可能学校才毕业的,也不敢让你做,必须要经过一定的时间,必须经过一些项目去磨炼,这方面的人才能出来。
记者:也就是说,在维护这一块,更多的还是由厂家来做?
曾波:都在做。
记者:你刚才讲到六个小时,你还没讲完,你再细节讲一讲,你说除了后来六个小时变成了20分钟解决。
曾波:第一,有很多事情要做,我要把原来的新找两个公用交换机,把它运作好,做好以后,在停的时候,先要把盘删掉,我们估计20分钟,删掉以后,就要把这个光纤一根一根地插上去,插上去以后,我还要装IBM的软件,装两套软件装到操作系统上面,是两台机器,装完了以后,我要去认这个盘,这些东西都要花一两个小时的时间,认这个盘,要启动微机,原来的盘要出去,现在要进来,现在要把,数据要重建,微机的格式要重新建造,这个盘敲一个命令,可能十秒钟,拿个主机去做还要做十分钟,我敲几个命令,它要做一两个小时,做完以后,再把这个起来,这六个小时不多。可能我做一步,可能我发四条到五条命令,每条命令放进去了,可能每条要执行十分钟,时间马上就过去了。
记者:这个项目是不是需要一个实验测试过程?
曾波:有这个过程。IBM来实施的工程师,做这种异构的迁移,到现场以后,但是没迁移过EMC的,迁移过中端盘柜,但是中端“盘柜”和高端“盘柜”体系架构,又要说到细节了,不一样的,它是做过,为什么?比如企业级盘柜,它出来,每个端口看盘,他要给你设定这个端口是IBM的AX操作系统看,还是惠普的操作系统看,端口是有属性的,因为中端的“盘柜”没属性的,随便哪个机器,Linux来,只要你有这个能力。所以,他做过,在实验室也做过,到现场又不一样了,这是EMC的“盘柜”,我要讲EMC,要把里面的盘找几块没用的,放到一个空的端口,这个空的端口里面,因为SVC要看到它,原来是IBM的AIX来看它,SVC实际上内部跑的是一套Linux的操作系统,要改成Linux能够看到的,SVC才能看到这个盘,这个测试我又要做。然后拿了几个盘来做SVC管理,做一些复制过去,比如建几个文件系统,拷几个文件上去,然后改进,变不变,这个东西可以做成,但是量太小,有很多突发的东西,不是这么简单。
记者:这个项目采购流程是走招投标的方式吗?
曾波:招投标,SVC那个时候还没有。