Hadoop&Hbase 备份方案--NFS

需求： 

实现namenode元数据的备份，解决namenode单点宕机导致集群不可用的问题。


方案描述：

当namenode所在服务器宕机的时候，我们可以利用namenode备份的元数据迅速重构新的namenode来投入使用。


1.  Hadoop本身提供了可利用secondarynamenode的备份数据来恢复namenode的元数据的方案，但因为checkpoint(在每次checkpoint的时候secondarynamenode才会合并并同步namenode的数据)的问题，secondarynamenode的备份数据并不能时刻保持与namenode同步，也就是说在namenode宕机的时候secondarynamenode可能会丢失一段时间的数据，这段时间取决于checkpoint的周期。我们可以减小checkpoint的周期来减少数据的丢失量，但由于每次checkpoint很耗性能，而且这种方案也不能从根本上解决数据丢失的问题。所以如果需求上不允许这种数据的丢失，这种方案可直接不予考虑。


2.  Hadoop提供的另一种方案就是NFS，一种即时备份namenode元数据的方案，设置多个data目录（包括NFS目录），让namenode在持久化元数据的时候同时写入多个目录，这种方案较第一种方案的优势是能避免数据的丢失（这里我们暂时不讨论NFS本身会丢失数据的可能性，毕竟这种几率很小很小）。既然可以解决数据丢失的问题，说明这套方案在原理上是可行的，以下是测试结果。


测试环境： 

虚拟机5台（1G内存，40G硬盘，ubuntu操作系统，Hadoop-0.20.2，Zookeeper-3.3.2，Hbase-0.20.6），一台namenode，3台datanode，一台NFS服务器（备用namenode）。


测试步骤：

1．部署好Hadoop，Zookeeper，Hbase集群环境及NFS服务器环境。在这里NFS服务器的目录结构应该和datanode的目录结构一样，在namenode宕机的时候，NFS将作为备用namenode启用。（当然这只是用作测试用，实际生产环境应该有专门的NFS服务器和备用namenode）。

2．在namenode上设置dfs.name.dir的目录为本地目录和NFS目录

3．启动集群并存储数据

4．关闭namenode所在机器（模拟namenode服务器宕机）

5．关闭datanode服务器上相关线程，分发集群配置文件，拷贝NFS目录上的备份数据到新namenode的name目录，启动新集群（这里可用工具统一分发配置分件和关闭datanode线程）

6．测试新集群，数据未丢失，集群正常使用

7．回到步骤3

8．关闭NFS服务器（模拟NFS服务器故障）

9．集群瘫痪

10．重启NFS服务器

11．集群恢复


问题及可行性分析：


1. namenode的IP映射及访问问题，重新构造namenode可能导致客户端访问IP不一致，可以在备用namenode投入使用的时候，配置其IP和原namenode一致，或者采取VIP的方案。

2. NFS服务器宕机导致集群瘫痪，可配置NFS集群来确保NFS的可用性。

3. 重新构造namenode的时延问题，不能确保故障发生时能立即投入使用，对于需要即时使用的项目建议采用namenode热备方案。