sqoop从musql导入到hive中数据缺失sqoop是大数据架构中常用的数据导入导出组件之一，只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中。 但在实际使用过程中，常常会碰到一些问题，导致从数据库导入到数据仓库发生数据丢失的问题，以下将发生数据丢失的情况分为三种类型：一、工具使用者使用不善导致的sqoop数据导入过程为：将mysql数据导入到hdfs文件路径，然后再从该hdfs文
转载
2024-04-10 12:03:42
54阅读
最近公司在做多个集群的合并和下线工作，部分集群要缩小规模，a集群有flink/spark程序实时写数据到a集群的hdfs/hive上，这部分部分数据要迁移到b集群的hdfs，由于a程序用到组件过多所以决定程序还保留在a集群，a集群的flink/spark程序将数据写到b集群，同时a集群的历史数据也要迁移到b集群。所以这里就设计到3处改动：spark程序跨集群写数据 sparkConf.set("h
转载
2024-03-05 17:39:01
164阅读
文章目录1.数据迁移前期准备2.迁移方案3.迁移工具Distcp4.Kerberos互信5.数据快照6.Distcp迁移 1.数据迁移前期准备1、迁移总数据量有多少？
2、新老集群之间的带宽有多少？能否全部用完？为了减少对线上其他业务的影响最多可使用多少带宽？
3、如何限制迁移过程中使用的带宽？
4、迁移过程中，哪些文件可能发生删除，新增数据的情况？哪些目录可能会发生新增文件的情况？
5、迁移后
转载
2023-11-28 11:20:14
70阅读
NameNode&Secondary NameNode工作机制1）第一阶段：namenode启动（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求（3）namenode记录操作日志，更新滚动日志。（4）namenode在内存中对数据进行增删改查2）第二阶段：Secondar
项目中需要进行国产化适配，需要把线上生产环境迁移到新国产化服务器集群上，记录一下数据迁移的实际操作情况一、hdfs数据进行迁移使用hadoop的命令distcp进行hdfs数据迁移:单层目录结构 命令格式如下：hadoop distcp -update [源hdfs目录] [目的hdfs目录] >> digtcp.log 2>&1 实例如下：hadoop distcp
转载
2023-09-22 12:55:22
145阅读
增删节点 数据迁移 一、所有事情开始之前，先要备份好cloudera manager的数据库，以及hadoop集群中的一些组件带的数据库。这里保存了很多元数据，像hive这种丢了很麻烦的。 二、如果需要换nameNode的存储目录1、备份nameNode原始数据 cp -r /ddhome/dfs/nn /ddhomebak/ #Hive Met
转载
2023-07-25 10:14:40
369阅读
一、创建逻辑目录，该命令不会在操作系统创建真正的目录，最好以system等管理员创建。
原创
2022-09-26 13:38:35
100阅读
目录HDFS 的常用SHELL命令实操基本语法上传下载HDFS直接操作HDFS 的 API 操作下载依赖工具包配置HADOOP_HOME环境变量搭建工程HDFS抽取常用代码段HDFS创建目录HDFS 文件上传HDFS 文件下载HDFS 文件更名和移动HDFS 删除文件和目录HDFS 文件详情查看HDFS 文件和文件夹判断 HDFS 的常用SHELL命令实操基本语法hadoop fs 具体命令hd
转载
2023-12-13 08:48:10
34阅读
在搭好HA集群之后，想测试一下集群的高可用性，于是先把active的namenode给停掉：hadoop-daemon.sh stop namenode或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -getServiceState master1 查看，发现standby的namenode并没有自动切换成active，直到我把之前kill掉
转载
2024-04-07 13:14:21
103阅读
问题目前想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上，使用以下命令报错sudo kinit hivesudo klistsudo hadoop distcp hdfs://<secure_namenode>:8020/user/hive/warehouse/test.db/*
原创
2021-09-01 15:58:15
1882阅读
Hadoop Distcp（Distributed copy）主要是用于 Hadoop 文件系统内部或之间进行大规模数据复制的工具，它基于 Map/Reduce 实现文件分发、错误处理以及最终的报告生成。由于利用了 Map/Reduce 的并行处理能力，每个 Map 任务负责完成源路径中部分文件的复制，因此它可以充分利用集群资源来快速完成集群或 Hadoop 文件系统之间的大规模数据迁移。由于 H
转载
2024-03-25 16:09:51
79阅读
步骤：备份数据库backup database1、use rman backup database rman target / rman>backup as compressed backupset format 'f:\backup\full_%d_U' database; 迁移用户存放的数据文件1、tablespace offline sql>
转载
精选
2014-11-30 10:11:09
730阅读
[code="Oracle"]--==============================================================-- migrate data define and body--
原创
2023-09-14 12:02:37
96阅读
--表空间占用情况
SELECT UPPER(F.TABLESPACE_NAME) AS "表空间名称",
ROUND(D.AVAILB_BYTES ,2) AS "表空间大小(G)",
ROUND(D.MAX_BYTES,2) AS "最终表空间大小(G)",
ROUND((D.AVAILB_BYTES - F.USED_BYTES),2) AS "已使用空间(G)",
TO_CHAR(ROUN
删除序列select 'drop sequence ' || sequence_owner || '.' || SEQUENCE_NAME || ';'from dba_sequenceswhere sequence_owner IN ('AMS', 'AIS') 序列当前值 select 'cre
原创
2022-07-13 14:47:46
171阅读
HBase2.1.0数据迁移方案 文章目录HBase2.1.0数据迁移方案步骤一、迁移HFile数据步骤二、迁移表的region步骤三、bulkload数据 业务要求：将数据从旧的集群HBase1.2迁移到HBase2.1.0中去。每个表的数据量级10TB左右 值得注意：HBase升级到Hbase2.x之后，他的数据修复工具独立出来作为 HBCK2 成立了一个单独的项目 ，并且这个项目并不是所有
转载
2023-07-30 17:07:08
220阅读
第一条，clob的索引别乱动
ALTER TABLE table_a MOVE TABLESPACE Tbs_tb
LOB (ATTRIBUTE) STORE AS(TABLESPACE tbs_lob);
快速指南：
alter index schema.index_1 rebuild tablespace TBS_IDX;
批量的话可以写个sql，例如：
原创
2012-08-28 13:56:28
1157阅读
数据库备份oracle 数据库迁移########################################################################################查看源数据库字符集 select * from nls_database_parameters; 会查到例如下面的内容 NLS_CHARACTERSET&nbs
原创
精选
2015-10-22 16:16:18
1260阅读
今天做了一个关于数据迁移的问题。以后把我的心得写上来。
原创
2008-11-11 19:57:47
2051阅读
2评论
一、数据迁移使用场景 1.冷热集群数据同步、分类存储 2.整体数据整体搬迁 3.数据准实时同步(备份) 二、考量因素 1.网络传输带宽及
原创
2024-09-26 12:17:28
516阅读
