HBase之——集群数据手动迁移方案

原创

冰河技术 2018-06-19 21:33:11 ©著作权

©著作权归作者所有：来自51CTO博客作者冰河技术的原创作品，请联系作者获取转载授权，否则将追究法律责任

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80739358

1、从源HBase集群中复制出HBase数据库到本地目录

hadoop fs -get

2、目标HBase导入

hadoop fs -put

3、修复.META.表

hbase hbck -fixMeta

4、重新分配数据到各RegionServer

hbase hbck -fixAssignments

打赏
赞
收藏
评论
分享
举报

上一篇：渗透之——SQLMap参数说明

下一篇：HBase之——协处理编程

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

HBase集群数据迁移方案

一、静态迁移方案1、在hbase停止的状态下进行数据的迁移。2、采用Hadoop distcp方式，将以上目录的内容，迁移到另一个集群。使用add_table.rb进行恢复。缺点：不太灵活二、动态迁移方案-Replication备份方案 -

hbase 数据迁移 hadoop mapreduce apache
Docker - 手动迁移镜像

在没有Docker Registry时,可以通过docker save和docker load命令完成镜像迁移的过程，先将镜像保存为压缩包，然后在其他位置再加载压缩包。将镜像保存为压缩包文件加载镜像快捷命令将镜像从一个主机迁移到另一个主机：docker save | bzip2 | ssh

docker nginx centos 压缩包 3c
TD8.0迁移到QC9.2，自动迁移失败，手动迁移

源机器A：TD8.0+SQLServer2000目标机器B：QC9.2+SQLServer2000一：自动迁移，1、在A在A上安装QC迁移工具，然后在B中点击TOOLS>>Migration Tool，打算迁移，报错如下：解决办法：查找TDProjectMigrationProj.xco

TD8.0 迁移
openstack 实现手动迁移虚拟机

前言：虚拟机的迁移分为两种：1、instance建立在存储上，实现block live migration。2、instance建立在分布式共享存储上（这里可以使用nfs、GlusterFS、ceph等），实现live migration。但是如果我们的集群环境没有搭建这两种集群，那么这两种迁移方式也就不能使用。需要我们手动迁移虚拟机（VM）。手动迁移虚拟机方法详解：1、在迁移之前需要把虚拟机停掉

mysql 主机虚拟机 update
0531-6.1-如何手动迁移JournalNode

手动迁移JN

hdfs hadoop 图片放大
Hbase集群迁移

也做过集群迁移，一年内迁移了两次，整体流程和下面大致相同, 但操作也有些不同。采用直接从源集群A distcp到目标集群B，任务在A集群中启动，省去集群C，也不用做什么集群的配置文件制定。但是一般都会跨网段，比如XX云-> YY云，就需要外网的带宽要足够，一般架设的VPN只能达到200MB/s。但是要考虑的是集群的数据一致性问题：一种是考虑双写集群，可以做到不停服务。一种是

hbase 集群迁移 hdfs hadoop
如何手动迁移linux从xen到vmware

If you want to unify your vm plantform,This article will give you some help.I just make a experiment from xen to vmware,I am simply opening the subject for discussion. We have two kind of methods,one

download article efficient official methods
Discuz完整手动迁移教程（不使用备份功能）

Discuz迁移是一件较为麻烦的事情网上大多的迁移教程都是利用备份功能进行操作的，其实这种操作并不能保证迁移后完全正常工作本文将介绍直接转移数据库和文件的迁移方法导出数据库迁移的首要部分就是导出数据库不论你是VPS、独立服务器还是虚拟主机一般都有phpmyadmin管理工具按照同样的方法，到新主机的数据库再导入即可转移程序文件转移程序文件没有特别的要求只需

其他
多es 集群数据迁移方案

前言加入新公司的第二个星期的星期二遇到另一个项目需要技术性支持：验证es多集群的数据备份方案，需要我参与验证，在这个项目中需要关注到两个集群的互通性。es集群是部署在不同的k8s环境中，K8s环境未必可以互相通信。在这个过程中也遇到很多问题，关关难过关关过。因为是新入职的公司的第一个完成的任务 ...

elasticsearch elastic 5e json sed
Elasticsearch 跨集群数据迁移方案总结

方案对比方案elasticsearch-dumpreindexsnapshotlogstash基本原理逻辑备份，类似mysqldump将数据一条一条导出后再执行导入reindex 是 Elasticsearch 提供的一个 API 接口，可以把数据从一个集群迁移到另外一个集群从源集群通过Snapshot API 创建数据快照，然后在目标集群中进行恢复从一个集群中读取数据然后写入到另一个集群网络要求

Elasticsearch 集群
Hbase集群间数据迁移方法总结（包括不通信集群）

问题导读：1.不同版本间集群是否可以迁移？2.distcp命令的作用是什么？3..MEAT表的作用是什么？4.相互不通信集群，数据该如何迁移？HBase迁移数据方案一（集群互联）花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。一、需要在hbase集群停掉的情况下迁移步骤：(1)执行Hadoop distcp -f filelist "hdfs://new c...

hadoop 数据 hdfs mapreduce apache
HBase神器 | BDS-HBase集群之间数据迁移同步的利器

BDS定位BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台，用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMRHBase、ApsaraHBase的数据导入导出，从而方便云上客户围绕HBase构建高可用、灵活的业务系统。使用场景BDS在云上目前主要有以下几个

Java
HBase实践 | BDS-HBase数据迁移同步方案的设计与实践

概览BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台。有关于BDS的基本介绍，可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上，BDS是如何进行HBase集群之间的数据迁移和数据的实时同步的。架构BDS采用分布式的架构，由BDSMaster节点生成、调度任务给各个BDSWorker节点BDSWorker节点负责具体的任务执行，是无状态的，方便

Java
openstack kvm 虚拟机手动迁移记录base img 整合差异镜像

首先根据定位主机id 寻找主机的基镜像及差异镜像 qemu-img convert -c 衍生-差异镜像文件衍生基本镜像文件 -O qcow2 one.qcow2;

随笔
Django-South 实现数据库自动迁移

1. South 简介 South 是Django的第三方app，专门做数据库表结构自动迁移工作。他已经成为Django数据库表迁移标准，很多第三方app都会带South migrations脚本。2. syncdb简介 syncdb意思是数据库同步。syncdb 命令是同步你的模型到数据库的一个简单方法。它会根据 INSTALLED_APP

第三方
数据库迁移方案之DG方式迁移

一：环境信息1)主库（单实例）主机平台：AIX6.1数据库版本：11.2.0.3（psu5）2)备库（部署了crs）主机平台：AIX6.1数据库版本：11.2.0.3（psu5）二：方案背景由于业务量增加，数据库需要由单实例，改成两节点rac。为了减少停机时间，采用DG方式迁移。三迁移方案：1.检查数据库是否支持Data Guard（只有企业版才支持DG）SQL&

oracle 迁移 duplicate DG
Terminal Services 打印驱动迁移工具

对于TS2008来说，打印的问题有了easy print，工作应该轻松了不少。而对于TS2003来说，要应付几下几件事1、在服务器上装驱动，装2003版的驱动，而不需管客户端的系统版本；2、TS映射是否正常，映射正常是否打印正常，设置打印格式；3、备份打印驱动，万一哪天TS服务器挂了，也好恢复，要不然又要重复前面两步，那可是一点都不好玩啦；这里给一个工具，printer migra

职场打印休闲 Windows Server 晒文章
数据库迁移 - MySQL 迁移到 HBase

对于一个在线业务系统来说，迁移数据库的挑战在于不仅要做到不停机无缝迁移还要保证迁移过程风险可控，这也正是本文要分享的内容，介绍如何使用功能开关无缝、安全地实现数据库迁移。

MySQL 数据库 Hbase 数据库迁移开源工具
数据迁移之同步双写方案

数据迁移背景项目初始，是单库。分了2个表就可以满足业务数据需求随着时间推移，多年后，数据越来越多，当前的数据库设计已经不能满足当前设计于是，需要如上图一样，进行分库再分表。数据迁移方案由于想要当前业务不停机的情况下进行数据迁移，于是，查找了许多资料。最终找到了同步双写方案如 ...

数据数据迁移分库分表参考资料分表

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区