目录1）安全模式2）进入安全模式场景3）退出安全模式条件4）基本语法5）案例1：启动集群进入安全模式6）案例2：磁盘修复7）案例3：模拟等待安全模式1）安全模式文件系统只接受读数据请求，而不接受删除、修改等变更请求2）进入安全模式场景NameNode在加载镜像文件和编辑日志期间处于安全模式；NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.sa
转载
2023-11-25 12:11:25
75阅读
HDFS的工作原理Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1、分布式文件系统多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布
转载
2023-07-20 14:47:22
42阅读
由于本人第一次写博客，不喜勿喷，本文章内容只是一个hadoop迁移的心得体会，具体技术问题会在另一篇博客当中详细给出。 本周重点工作就是Hadoop集群迁移，迁移过程中的各种坑都已经一一解决，在踩坑的过程中对于Hadoop的架构，元数据的存储，配置文件的组织等等都有进一步的了解，本周的心得有必要分享一下： 刚开始接到Hadoop迁移这个任务的时候自己心里是没有底气的，因为自我感觉这项任务要比重
转载
2023-07-20 23:58:47
135阅读
#!/usr/bin/env python
#coding=utf-8
#scribe日志接收存在小集群到大集群之间， distcp 同步失败的情况，需要手动进行补入。
#1、如果查询补入的日志量少，则可以之间用脚本处理。如果量大，则使用 hadoop 提交job。
# hadoop job 提交方式：
# hadoop jar /usr/local/hadoop-2.4.0/share/ha
转载
2023-09-20 12:37:01
89阅读
软件版本Mysql5.7Java1.8.0_241Hadoop3.3.0Zookeeper3.4.6Hive3.1.2Flink1.14.5Hudi0.11.1Doris1.1.0Dinky0.6.6Flink CDC2.2.0Presto0.261Hue4.1.01. Hadoop集群部署1.1 集群安装1）上传Hadoop安装包到 /opt/software目录下2）解压安装文件到/opt/s
转载
2023-08-01 22:43:05
342阅读
Hadoop集群组件安装部署——HadoopHadoop集群组件安装部署HadoopHadoop部署配置集群配置历史服务器配置日志的聚集分发Hadoop群起集群Hadoop群起脚本集群时间同步 Hadoop集群组件安装部署集群所有进程查看脚本 1）在/home/ly/bin目录下创建脚本xcall.sh[ly@hadoop102 bin]$ vim xcall.sh2）在脚本中编写如下内容#!
转载
2024-03-02 09:52:37
35阅读
目录Hadoop介绍Hadoop集群HDFS分布式文件系统基础文件系统与分布式文件系统HDFS简介HDFS shell命令行HDFS工作流程与机制HDFS集群角色与职责HDFS写数据流程（上传文件）HDFS读数据流程（下载文件） Hadoop介绍用Java语言实现开源 允许用户使用简单的编程模型实现对海量数据发分布式计算处理 Hadoop核心组件：HDFS ：存储YARN：资源调度MapRedu
转载
2023-10-06 20:41:07
55阅读
导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1 生成密匙3.2 免密登录3.3 验证免密登录集群搭建4.1 下载并解压4.2 配置环境变量4.4 修改配置4.4 分发程序4.5 初始化4.6 启动集群4.7 查看集群提交服务到集群1. 集群规划这里搭建一个 3 节点的 Hadoop 集群， 其中三台主机均部署 D
转载
2024-08-08 19:19:31
28阅读
一、实验环境主机操作系统：Windows7 以上（64 位）虚拟机软件：Oracle VM VirtualBox客户机操作系统：CentOS-6.8（64 位）JDK：1.8（Linux 版）SSH 连接客户端，如：Xme5Hadoop： 2.6.5二、实验步骤(1)在主节点解压 hadoop 安装包去官网获取 Hadoop2.6.5 安装包。https://archive.apache.org/
转载
2024-02-19 21:26:46
82阅读
HADOOP根据生产环境搭建并且已在生产环境中使用，多多指教
原创
精选
2022-08-25 23:07:16
731阅读
Hadoop集群数据迁移是一个比较常见的问题，通常在数据中心迁移、备份数据等情况下会涉及到这个问题。在这篇文章中，我将详细介绍如何在Kubernetes（K8S）中实现Hadoop集群数据迁移。
### 流程概述
首先，我们可以用以下表格展示整个Hadoop集群数据迁移的流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备源Hadoop集群配置信息 |
| 2 | 在
原创
2024-05-30 09:51:04
97阅读
集群介绍 1.1、什么是hadoop集群 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeM
转载
2023-09-06 09:50:11
108阅读
自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。前置已按需求创建好EMR集群。迁移hdfs数据主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。网络需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。如果自建集群是经典网络，EMR集群是vpc，网络访问需要设
转载
2024-10-16 12:20:08
49阅读
# 如何实现Hadoop不同集群数据同步
## 整体流程
首先，我们需要确保两个Hadoop集群之间能够通信，然后设置数据同步任务，最后监控同步任务的执行情况。
以下是整个流程的步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 配置两个Hadoop集群之间的网络通信 |
| 2 | 在源集群中创建数据同步任务 |
| 3 | 在目标集群中配置接收数据的路径 |
| 4
原创
2024-03-04 05:09:53
87阅读
hadoop集群安装部署文档一、 系统环境配置1、修改主机名2、添加主机名映射3、创建集群管理用户,设置密码4、分配用户sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、 Hadoop集群搭建1、安装hadoop,配置hadoop环境变量2、修改 hadoop-env.sh 文件3、执行本地模式wordcount案例4、克隆虚拟机5、修改网络配置及主机
转载
2024-05-15 06:23:34
63阅读
在大数据集群数据迁移的项目中涉及到很多技术细节，本博客记录了迁移的大致的操作步骤。 迁移借用Hadoop自带的插件：distcp。一、Hadoop集群数据迁移DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发（DistCp原理是在Hadoop集群中使用MapReduce分布式拷贝数据），错误处理和恢复，以及报告生成。它把文件和目录的列表作为m
转载
2023-08-20 21:33:34
354阅读
不得不收藏的大数据Hadoop干货：Hadoop集群搭建搭建环境：安装时间同步Yum install -y ntpdate 网络时间同步命了 服务器地址是阿里云ntpdate ntp1.aliyun.com 手动时间同步方式date -s "20190622 12:32:00" #yyyymmdd hh:mm:ss完全分布式 Ps:这里我们已经将时间同步,主机名称,网络通信,hosts
转载
2024-01-07 10:09:08
103阅读
1,Local(Standalone) Mode 单机模式 $ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*
转载
2023-10-09 22:25:13
50阅读
1. * 什么是Hadoop？*Hadoop 帮助用户在不了解分布式底层细节的情况下，开发分布式程序。应用领域：农业、地震台监测、医疗、可穿戴设备、无人驾驶汽车2. 课程目标• 了解YARN的基本工作原理• 了解Hadoop2.0的两大核心模块的工作原理• 熟悉Hadoop2.0环境搭建、配置与管理• 熟练向Hadoop提交作业以及查询作业运行情况• 能书写Map-Reduce程序• 能熟练地对H
转载
2023-09-20 10:51:40
76阅读
启动Hadoop集群第一次启动前置工作注意：首次启动 HDFS 时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。(本质是对namenode进行初始化)命令：hdfs namenode -format 或者 hadoop namenode -format命令中的 - 已经修复为 英文输入法下的 -关于hdfs的格式化： 首次启动需要进行格式化； 格
转载
2023-09-02 11:35:05
233阅读
