数据复制技术很多,初步比较如下。 后面重点讨论银行最常用的存储复制和数据库复制。。当然,我最推荐的还是应用方式。。只有应用做好了才能做到真正的多活应用!!!银行需要加大研发力度,摆脱厂商的束缚,长远来看,肯定是节约成本的。但是目前由于风险问题,还是很少这方面的尝试
类别 | 方案 | 描述 | 优点 | 缺点 |
应用 | 应用双写 | 应用同时连接两个数据库将数据写入的方式,或应用将产生的文件写入到两个存储位置。 | 数据保护性最好 | 需要应用开发 双写应用受限较多,例如应用所能忍受的延迟、性能问题等 |
应用定时复制 | 应用按照定时的策略检测源端和目标端的数据差异,并将数据增量部分发送到目标端。 | 数据保护依据定时策略进行保护 数据可以按照策略定时在三中心生效 | 需要应用开发 需要开发特定的模块 | |
数据库 | 数据库复制 | 通过数据库内置或者第三方的软件如Data Guard、Share Plex、Golden Gate等基于日志方法将数据同步或异步发送到目的端的数据库。 extend rac也勉强算 | 针对指定的库表进行保护 经过业界长期使用,可靠性较高 | 仅可以对结构化数据进行复制,不能针对非结构化数据进行复制 需要购买第三方的软件许可 数据库需要一定的调整 |
操作系统 | LVM卷复制 | 通过操作系统或者数据卷管理器来实现对数据的远程复制。 | 依赖操作系统自身的卷管理功能实现数据的复制 | 复制的数据不能同时被挂起使用 |
虚拟存储 | 虚拟化存储复制 | 复制技术是伴随着存储局域网的出现引入的,通过构建虚拟存储上实现数据复制。 | 通过存储虚拟化设备实现数据的复制,不依赖底层存储 | 需要新购存储虚拟化设备,复制的数据不能同时被挂起使用 |
存储 | NAS/SAN存储复制 | 数据的复制过程通过本地的存储系统和远端的存储系统之间的通信完成。 | 基于存储底层实现 应用不需要改造 | 复制数据不能在及时读写使用 需要采购额外的NAS/SAN存储 需要采购额外的存储复制许可
|
开放平台存储复制技术
开放平台存储复制技术使基于实现存储磁盘阵列之间的直接镜像,通过存储系统内建的固件(Firmware)或操作系统,利用IP网络或DWDM、光纤通道等传输界面连结,将数据以同步或异步的方式复制到远端。
该类技术优点就是将数据与应用系统分开,对主机系统的运行资源基本无影响。另外,由于运行机制大多是利用镜像来复制数据,并借助高速缓冲存储器加速I/O存取,两端的数据差异时间点比较小,加上存储系统本身具备一定的容错能力,使之具有较高的运行性能和可靠性。对主机透明,对应用系统的影响较小,技术成熟,有较多的成功案例,但是投资较大,对网络连接的要求也较高。
主要开放平台存储复制技术代表厂商有:
EMC的SRDF-A 异步存储复制方案。存储平台均需要采用Symmetrix系统,其他存储平台可先将卷通过FTS技术先由Symmetrix Vmax平台识别和管理,再进行容灾复制。
SRDF-S同步复制方案,存储设备要求是EMC symmetrix系列平台。
IBM的Global Mirror异步数据复制方案,基于DS8800存储微码软件实现。
Metro Mirror同步数据复制方案,基于DS8800存储微码软件实现。
HP Business Copy
HDS True Copy
开放平台数据库复制技术
开放平台数据库复制技术是一种基于数据库log(日志)的结构化数据复制技术,它通过解析源数据库在线log或归档log获得数据的增、删、改变化,再将这些变化应用到目标数据库,使源数据库与目标数据库同步,以达到多站点间数据库可双活甚至多活,实现业务持续可用和容灾的目的。
主要开放平台数据库复制技术有:
IBM的InfoSphere Change Data Capture(CDC)
Quest的SharePlex 只支持Oracle
Oracle的GoldenGate
Data Guard
Oracle extended RAC 这其实就是把RAC的距离拉大到同城,当然延时必须小,所以一般都需要用裸光纤。这种技术可以实现同步的数据复制,可以实现的灾备模式有a-a a-s a-query
开放平台数据备份技术
Symantec提供的NetBackup具有4种数据备份技术:Vault技术、Dedup技术、基于备份设备的数据备份技术和并发数据备份技术。
大机平台存储和数据库备份技术
大机平台存储复制技术通常用于重要核心系统的数据复制,具有数据量大、业务连续性要求高的特点。基于存储的数据复制技术,可以在不区分数据逻辑意义的情况下将更新的数据连续地复制到远程磁盘,复制效率高、管理简便,但复制盘的数据无法实时访问,只能将目标数据FlashCopy出来启用,目标端需要配备一定的主机和磁盘资源,适于应用系统的A-S模式
存储备份技术主要包括:
Metro Mirror for z/OS (PBRC) 同步复制,基于存储控制器的微码实现。
Global Mirror for z/OS异步磁盘镜像技术
XRC 异步磁盘镜像技术
大机平台DB2数据库复制技术一般均基于数据库日志,因此只有记录日志的数据库操作才能被复制。数据复制由软件实现,因此需要在源端和目标端安装数据库和复制软件。目标数据库可以实时访问,因此此类技术适用于A-A和A-Q模式,但需要应用支持,A-A模式下还需要具备较完善的冲突处理机制。
数据库备份技术有:
QREP
CDC
目前IBM已将此两种技术打包为一个产品,名为InfoSphere Data Replication for DB2 for z/OS
另外大机的磁带库技术主要使用 Oracle STK
虚拟化(云)技术
1、服务器虚拟化
服务器虚拟化技术可以将同城双中心间服务器资源进行虚拟化,形成一个统一的服务器资源池,提高了多站点系统资源分配的灵活性,为数据中心间的负载均衡提供了保障。当一个站点出现计划内或者计划外中断时,其上运行的虚拟机可以在运行状态下快速的自动迁移至其他数据中心内的物理服务器上,可以有效提高业务连续性。
虚拟机在运行状态下从一个站点物理服务器迁移至另一个站点物理服务器,依赖与IP网络和SAN网络的传输质量,还依赖于存储虚拟化技术和网络虚拟化技术的实现,建议IP网络二层打通(内存复制使用),SAN网络打通(同城双中心存储虚拟化使用)。
主机虚拟化技术主要有IBM的PowerVM、VMware的Vsphere和HP的VPar/IVM,另外还有开源的KVM很值得推荐。
在上述三种服务器虚拟化技术中,都能实现将物理服务器虚拟化,提高服务器资源的利用率,配合存储虚拟化和网络虚拟化技术能实现虚拟机的在同城双站点间物理主机的迁移,有助于减少当计划内和计划外站点中断时的停机时间。但是他们在兼容性、功能、安全性、可操作性、可扩展性、可靠性、同其他技术的结合性和应用广泛性等方面有一定差异,总结如下:
(1) 对平台的要求方面。VMware的Vsphere仅支持X86平台;IBM的PowerVM仅支持IBM小机平台;HP VPar/IVM仅支持HP平台。
(2) 功能方面。VMware的Vsphere扩展功能更加全面(例如有vSphere High Availability、虚拟防火墙和vSphere DRS节电管理等等),而其他方案扩展功能相对较少。
(3) 安全性方面。IBM的Power VM通过了EAL4+安全认证,IBM的Power VM和HP的VPar/IVM从底层硬件到上层的操作系统,均为同一厂商提供,可靠性和兼容性相对较高。
(4) 可操作性方面。VMware的Vsphere的管理软件更易于使用。
(5) 可靠性方面。IBM的PowerVM hypervisor集成在固件中,可靠性相对略高。
(6) 同其他技术的结合性方面。VMware的Vsphere同思科交换机结合较好,可实现虚机的流控等能力。赛门特克对VMware的Vsphere支持较好,可以实现虚机甚至虚机里文件级别的备份恢复。
(7) 可扩展性方面。IBM的PowerVM虚拟化可扩展性相对较好,每个虚拟机支持的虚拟CPU数量相对较多、支持的内存相对较大。单个物理机支持的最大虚拟机相对较多。
(8) 应用广泛性方面。VMware的Vsphere在国内四大银行和其他很多银行均在使用。ICBC从2007年开始使用,最开始用于珠海开发测试中心,2008年用于北京和上海的生产中心,同时分行也大规模使用,ABC从2008年开始使用,全球和全国市场占有率相对较高。IBM的PowerVM在中国国内银行资产排名前五的各银行的开发测试环境广泛使用,部分生产环境已深入使用PowerVM技术。HP的VPar/IVM国内金融行业的开发测试环境广泛使用,国内的太平洋保险在生产环境有初步应用。
2、存储虚拟化
存储虚拟化可以提高容错,和做到跨存储的虚机漂移。
主要技术有VPLEX\SVC\GPFS\HYPERSWAP\HAM
3、网络虚拟化
当前,大多数企业网络及其数据中心跨越了多个位于不同地理位置的物理站点,以此来实现高可靠性和冗余部署,在这些站点部署类似的业务,需要在这些站点之间进行二层互通。
跨数据中心二层网络技术可以实现站点间的资源动态调配和管理,虚拟机在数据中心之间能够自由迁移,保证虚拟机迁移过程对用户透明,不改变IP地址。
跨数据中心二层网络技术基于MAC-in-IP的技术,通过将MAC封装实现跨IP网二层互通,通过“扩展IS-IS协议”实现跨IP网络的MAC地址学习、汇聚高端交换机之间运行“扩展IS-IS”,支持此类技术的设备实现ARP代理功能,通过跨数据中心二层网络技术主要实现如下功能:
1、 VM虚拟机的迁移,不改变虚机IP地址。
2 、服务器集群等跨数据中心二层互联功能。
主要技术有H3C EVI和思科 OTV, 都是私有技术。
另外我还要多说一点
1 云和虚拟化的关系:虚拟化技术是云的基础,但是虚拟化并不是云的必要条件,云分为基础设施即云(亚马逊云)、平台即云(例如google 云)、软件即云(这个也有公司在做,例如提供ERP软件云服务)。虚拟化和云是未来数据中心的发展趋势,并且我认为中小银行甚至大银行,可以将没有重要且敏感数据的次重要系统逐步往公共云上转移。例如静态WEB移到CDN,管理类系统移到公有云。
2 记得就是以前上学的时候说的数据挖掘,换个名字,就成大数据了。
3 云管理其实是个很复杂的事情,特别是即用了vmware 又用了Powervm kvm等等虚拟化技术后,如果又用了svc等,那就相当复杂了。。 建议做统一底层接口。。。。