今天我们来讨论下数据迁移相关知识,本篇内容实际上就是一次数据迁移知识普及。数据迁移是由专业工程师通过专业工具在客户数据中心进行的专业数据搬迁活动,既绕口又晦涩。但即使连用了三个专业来形容数据迁移也一点都不为过,因为客户的数据太重要,任何疏忽或闪失都会让客户承担巨额损失或倾家荡产,所以需要专业、专业、还是专业。
为什么要进行数据迁移
数据迁移的目的就是为了给有价值的数据创造更好的生存环境,让其更安全、更可靠、更有效的为客户服务。一切数据搬迁的过程在广义上都可以成为数据迁移。那么,什么时间需要做数据迁移呢?数据一生要经历生产、传输、计算、保存、归档和销毁的生命周期循环,同样,IT设备需要配合数据实现数据价值,此外其自身还需遵守生产、销售、使用、过保、退市和销毁的生理伦常。数据迁移往往就发生在因为设备过保、EOX、寿命、性能、容量等原因,而无法满足客户对数据使用需求时。
正常情况下,IT设备的生命周期一般只有3-5年,这个原配无法陪伴数据走到生命的最好的一刻,所以其会面临二婚的选择和考验。对已经习惯了原配IT设备的数据来说,新IT设备不但要顾及数据原有使用习惯和方式,还要考虑解决之前存在的问题。这个难题就需要专业、专业、还是专业的工程师来解决。
数据迁移的难题和挑战
面对企业级应用,数据迁移不仅仅是将数据从一个地方移动到另一个地方,而是要考虑数据安全性、兼容性、停机时间等大量复杂因,同时具备第三方软硬件专业技能等。
数据安全性是数据迁移的基本需求,如何在整个数据迁移可能多达上百步的操作过程中,保证数据的安全性是一项不小的挑战,不仅需要考虑迁移前的备份,还要考虑清楚迁移过程中数据的多份保存,出现异常问题后的安全回退步骤等。
兼容性是整个数据迁移方案得以实施的前提,将新的设备放入到一个在线运行复杂的业务系统中,首先需要理清纷繁的服务器、交换机、HBA卡、OS、卷管理软件、集群等一大堆软硬件的兼容性,如果有兼容性问题,还需要考虑如何替换和规避的问题。
停机时间就是业务迁移时间窗,常常也客户最关心的话题,很多情况下客户都是要求在线迁移。随着数据量日益扩大和业务的逐渐复杂,客户停止和启动业务都需要消耗数小时时间,所以每一次数据迁移都是一场与时间赛跑的游戏,要求操作过程的全程可控,不仅要对正常流程的可控,还要做到在异常情况下的可控,保证即使出现各种异常,还能够正常时间内完成迁移或者回退。
第三方软硬件的技能是数据迁移是一种专业必备条件,不仅需要熟悉设备的基本操作,还要熟练上层的各种软硬件如服务器、交换机、操作系统、卷管理、集群、数据库等操作,这些部件都和新加入设备有绑定关系,除了要将数据迁移过来,还要修改上层的绑定关系让其可以顺利从新的载体上读取到业务数据,这样才能保证数据迁移的完整成功。
因此数据迁移对人员的经验要求也是非常苛刻,同时由于实际交付项目管理复杂等各方面综合因素的影响,导致数据迁移一直在业界是一项复杂的解决方案。
有哪些主流专业数据迁移技术
数据迁移从数据层次和迁移技术上主要分为基于应用的迁移、基于卷管理的迁移、基于网络的迁移、基于存储层的迁移四个主要层次。
总体来看,数据迁移可以通过数据路径组网方式进行划分,并且汇集了各种场景下的迁移方案。
基于应用及虚拟的迁移
数据库迁移方案
对于数据库,一般可以从存储层或网络层面进行迁移,但是如数据库的跨平台、跨介质的迁移场景或者是一些对停机时间要求很高的场景,涉及到设备类型、数据的变更、或在线迁移等,只能从数据库层面来迁移,或者从数据库层面来迁。
虚拟机迁移方案
VMware、Hyper-V等Hypervisor都提供了在线替换迁移功能,如VMware的Storage vMotion和Hyper-V的Live Migration都可以实现在线的数据迁移。虚拟机的在线迁移功能可以实现无中断的迁移,但是并不是所有场景都可以使用这种方案进行迁移,如RDM场景、VDI场景等高级场景。因此虚拟机迁移需要首先核对是否场景限制上能够满足。
文件系统的迁移
对于文件系统场景,由于各个厂商的NAS元数据结构不一样,一般都需要通过文件迁移工具从文件层进行拷贝和复制,保留文件的属性和权限,而不能从底层块数据层进行迁移。所以文件系统相对简单,常见的有Windows提供的Robocopy和Linux提供的Rsync工具。
基于卷管理软件迁移
在大多数操作系统上都提供卷管理软件,将SAN裸设备进行行聚合或者拆分后提供给上层应用使用,因此绝大多数应用数据都通过卷管理软件进行管理,所以卷管理软件自带的镜像和迁移功能常常成为在线数据迁移方案的一种选择。
在不同的操作系统下,主流的卷管理软件如AIX、HP-UX和Linux下的LVM;Solaris下的SVM;Window下的LDM;Vertias通用的VxVM和Oracle自带的ASM等,通过这些不同的卷管理软件实现数据在线迁移到新的目标存储。
基于网络功能的迁移
虚拟化网关产品通过自带的存储虚拟化功能可以实现迁移功能。如Huawei VIS、IBM SVC、EMC Vplex和Netapp等。这种方式首先是通过虚拟化网产品将源存储接管,让源存储和业务主机之间的所有数据都通过网关产品进行传递,再通过网关产品将数据完整的从块级别镜像复制到目标新存储。
这种方案具有很强的普适性,可以在大部分的场景下使用,但是由于镜像复制只是实现了数据复制到目标新存储,而原来的业务主机上的多路径,卷管理,集群和数据库等软件都是和源存储进行绑定的,因此在数据同步到目标存储的后,还需要将业务和源存储的绑定关系替换为目标存储,这个过程是整个数据迁移过程中最复杂的部分。
基于存储功能的迁移
存储设备本身也具备一些数据迁移功能,如LUN拷贝和远程复制。LUN拷贝可以把目标新存储作为一个服务器,首先将源存储映射到目标新存储,再将目标新存储上的所有数据读到目标存储上。远程复制可以从数据块层面将数据从一台存储同步到远端的另一套存储,但一般要求源存储和目标存储都是来自一家的同平台产品。此功能经常被用于存储的跨地域数据迁移。
各种迁移方案的光环下隐藏着专业工程师的汗水,每个数据迁移项目和任务都是一次未知的挑战,只要凭借丰富的经验和不断的演练才能保障客户的数据明天更美好。