又几个月没写过文章了，今天随便写一写吧。由于实际需要需要研读HDFS的源码，最好的方法就是加一些日志看NameNode是怎么运行的，又经常在外面，所以就需要在公网上搭一个分布式的Hadoop（只有HDFS）集群，有两个DataNode节点即可。但实际情况是我有一个阿里云服务器，有一个腾讯云服务器。联想到Hadoop可以跨机架，跨机房进行搭建，想了想从原理上来讲的话，这样应该也是可行的，于是抱着试一
转载
2023-09-13 23:09:17
76阅读
实验环境hadoop版本: 2.6.5
master: 192.168.1.160
slave1: 192.168.1.161机架感知一个hadoop分布式集群会有很多的服务器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，机架内的服务器之间的网络速度通常都会高于跨机架服务器之间的网络速度，并且机架之间服务器的网络通信通常受到上层交换机间网络带宽的限制。HDFS对数据文
转载
2024-01-31 00:37:33
14阅读
目录一、多机房部署的难点是什么1.直接跨机房读取从库：2.在机房B部署一个从库，跨机房同步主库的数据，然后机房B的应用就可以读取这个从库的数据 二、逐步迭代多机房部署方案1.同城双活2.异地多活一、多机房部署的难点是什么多机房部署的含义是： 在不同的IDC机房中部署多套服务，这些服务共享同一份业务数据，并且都可以承接来自用户的流量这种架构听起来非常美好，但是在实现上却是非常复杂和困难的假
转载
2023-12-21 11:19:00
159阅读
HDFS集群管理与运维1. HDFS数据迁移解决方案数据迁移指的是一种大规模量级的数据转移，转移的过程中往往会跨机房、跨集群 ，数据迁移规模的不同会导致整个数据迁移的周期也不尽相同 。 在HDFS中，同样有许多需要数据迁移的场景，比如冷热数据集群之间的数据转化， 或者HDFS数据的双机房备份等等 。因为涉及跨机房 、跨集群，所以数据迁移不会是一个简单的操作。1.1 数据迁移使用场景冷热集群数据同步
转载
2023-09-05 11:46:57
241阅读
Hadoop HA部署创建用户配置hosts文件配置三台机器SSH互相信任关系部署JDK停掉防火墙部署Zookeeper 本人使用三台阿里云主机进行学习，分别用hadoop001，hadoop002，hadoop003表示 创建用户首先在生产上，一般每一个组件会由不同的用户来部署，所以一上来首先是在三台机器上都创建hadoop用户： useradd hadoop配置hosts文件需要在三台机器
转载
2023-08-21 17:48:59
171阅读
社区提供的读写分离架构图如下：通过架构图可以看到Kylin会访问两个集群的HDFS，建议两个集群的NameService务必不能相同，尤其是集群启用NameNode HA时，相同的NameService会导致组件在跨集群访问HDFS时因无法区分NameService而出现问题。两个集群：cluster1(hive集群):hdfs.hive,yarn,zookeeper,mrcluster2(hba
转载
2024-08-29 13:28:18
27阅读
# Hadoop DistCp 跨机房数据迁移
Hadoop是广泛应用于大数据处理的开源框架，而DistCp（Distributed Copy）是Hadoop中提供的一种高效的数据拷贝工具，尤其在需要跨多个机器房（数据中心）进行数据迁移时显得尤为重要。在这篇文章中，我们将探讨如何使用Hadoop DistCp在不同机房之间迁移数据，同时提供必要的代码示例以及相关的序列图和旅行图帮助理解。
##
跨机房Hadoop集群的问题通常涉及到数据同步、网络延迟以及集群间的高可用性配置等挑战。本文将详细记录如何解决这一问题。通过环境预检、部署架构、安装过程、依赖管理、服务验证与迁移指南，我们将全面覆盖构建和维护跨机房Hadoop集群的各个方面。
## 环境预检
在开始部署之前，我们需要对环境进行预检，确保所有硬件和网络配置符合要求。下面展示了思维导图和硬件拓扑。
```mermaid
mind
作者简介昱康，携程架构师，对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣。本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。 一、Hadoop在携程的落地及发展情况 携程Hadoop是从2014年引进的，基本上每年较前一年以
转载
2024-06-18 21:51:15
161阅读
文章说明需要注意的地方会用黄色高光标注文章中用到的一些知识，我会选择性提供文章链接，可考率是否阅读。（一）初步了解搭建步骤准备工作1.虚拟机准备准备好三台安装好jdk和hadoop的虚拟机 方法：可以克隆1台干净的虚拟机，做完所有jdk、hadoop配置后，将处理好的虚拟机克隆为集群，别忘了修改集群机器的IP和主机名如何更改用户名和主机名入口 我这里用的是3台机器，分别为Cloud10、Cloud
转载
2024-01-02 20:33:40
128阅读
hadoop数据迁移数据迁移使用场景：冷热集群数据分类存储集群数据搬迁，当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等.数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一致.数
转载
2023-07-12 15:09:19
204阅读
大数据平台搭建版本这个版本真的关键 hadoop：2.10.0准备环境新增用户，ssh免密登陆如果配置分布式spark还需要 vi /etc/hostname 添加到下图修改 vi /etc/hosts，三台机器都需要127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1
转载
2024-02-20 10:46:15
98阅读
随着同程旅行业务和数据规模越来越大，原有的机房不足以支撑未来几年的扩容需求，同时老机房的保障优先级也低于新机房。为了不受限于机房的压力，公司决定进行机房迁移。为了尽快完成迁移，需要1个月内完成上百PB数据量的集群迁移，迁移过程不允许停止服务。目前HADOOP集群主要有多个2.X版本，2019年升级到联邦模式，目前有近20个namespace，80%的业务都与hdfs 相关，资源调度层主要依赖YAR
转载
2023-07-28 14:48:48
356阅读
目录标题一.所需资源:二.docker 环境搭建三. 创建docker镜像四.docker服务与物理机器同网段五.机器互信六.搭建分布式hadoop平台七.搭建hbase平台及客户端连接服务(phoenix)八.搭建hive平台九.kettle连接大数据服务 一.所需资源:1. 三台机器centos7物理机:192.168.50.12,192.168.50.13,192.168.50.14 .
转载
2023-12-01 11:33:07
58阅读
为什么要考虑hadoop集群异地双活？因为我们一般集群的建设基本上都是部署在同一个地方，为了保证公司业务24小时不间断服务，所以必须要考虑集群的高可用，而我们常见的高可用一般是给A集群搞个灾备集群B集群，A、B集群不会再同一个机房，A、B集群的数据同步依赖于hadoop自身提供的工具distcp，那么discp有什么缺点呢。1. 长时间占用yarn资源2. 一般只同步重要的部分
转载
2023-09-19 21:26:29
60阅读
代码的世界只是现实世界的一个延伸，总是充斥着各种各样的bug，这两天，就发生了一个串号的事故，搞得焦头烂额。程序员，特别是架构师，在设计系统的时候，系统的可用性非常的重要，也就是说，容灾，是必须的！ Redis，作为一个常用的缓存，很多人忽略了系统的容灾，试想，如果有一天晚上，突然部署Redis的机器烧坏了，总不能半夜三更把运维人员叫起来，然后重新部署一台机器，开始修改各个机器的Red
转载
2023-07-05 23:52:20
141阅读
spring cloud是一系列框架的有序集合，是分布式系统构建工具服务领域模型不同的组（group）之间不能调用，只能进行组内调用namespace=》group/service=》cluster=》instance没有nacos的时候微服务调用，可以直接使用RestTemplate进行调用。但是服务量增大，一个服务需要部署在多台服务器上时，使用nginx做负载均衡springboot与spri
转载
2024-10-13 10:03:25
43阅读
集群时间同步如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。1）需求 找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。2）分析 had
一、安装前说明主机IP：192.168.132.128从机IP：192.168.132.1291. 所有的安装包我放在了/root/这个目录下，你要根据自己情况去修改，这点必须注意2. 采用的安装包如下jdk-7u79-linux-x64.tar.gz，hadoop-2.8.0.tar.gz3. 采用的Linux系统是centos7.04. 文中命令如果没有强调，默认在两台机子上都执行相同的命令二
转载
2023-09-14 08:18:59
69阅读
在处理“Hadoop Datanode 机房”相关的问题时，以系统的思路和方法来确保其有效性是至关重要的。本文将通过一系列具体的步骤，涵盖环境配置、编译过程、参数调优、定制开发、安全加固以及部署方案，系统化地分析问题及解决方案。
## 环境配置
首先，我们需要配置Hadoop Datanode的环境。为此，确保所有依赖的版本符合要求，并简单明确地展示这个过程。
```markdown
|
