# 如何更换 Hadoop 集群的数据盘
在 Hadoop 集群中，数据存储是一个重要的方面，特别是当你的数据量增大时，硬盘的扩展或更换可能会变得必要。本文将详细介绍如何更换 Hadoop 集群的数据盘，包括每一步的具体操作和代码示例。
## 操作流程
在进行数据盘更换之前，了解流程是至关重要的。下面是整个操作的步骤：
| 步骤 | 描述 |
原创
2024-09-07 05:16:35
137阅读
1. * 什么是Hadoop？*Hadoop 帮助用户在不了解分布式底层细节的情况下，开发分布式程序。应用领域：农业、地震台监测、医疗、可穿戴设备、无人驾驶汽车2. 课程目标• 了解YARN的基本工作原理• 了解Hadoop2.0的两大核心模块的工作原理• 熟悉Hadoop2.0环境搭建、配置与管理• 熟练向Hadoop提交作业以及查询作业运行情况• 能书写Map-Reduce程序• 能熟练地对H
转载
2023-09-20 10:51:40
76阅读
启动Hadoop集群第一次启动前置工作注意：首次启动 HDFS 时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。(本质是对namenode进行初始化)命令：hdfs namenode -format 或者 hadoop namenode -format命令中的 - 已经修复为 英文输入法下的 -关于hdfs的格式化： 首次启动需要进行格式化； 格
转载
2023-09-02 11:35:05
233阅读
首先Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。基础环境环境准备1、软件版本四台服务器配置，系统：centos6.5、内存：1G（视自己配置而定）、硬盘：20G（视自己配置而定）四台服务器分配的IP地址：192.168.10.131
192.168.
转载
2024-08-02 12:04:48
33阅读
目录1）安全模式2）进入安全模式场景3）退出安全模式条件4）基本语法5）案例1：启动集群进入安全模式6）案例2：磁盘修复7）案例3：模拟等待安全模式1）安全模式文件系统只接受读数据请求，而不接受删除、修改等变更请求2）进入安全模式场景NameNode在加载镜像文件和编辑日志期间处于安全模式；NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.sa
转载
2023-11-25 12:11:25
75阅读
1、分区是必须要经历Shuffle过程的，没有Shuffle过程无法完成分区操作2、分区是通过MapTask输出的key来完成的，默认的分区算法是数组求模法： --------------数组求模法： -----------将Map的输出Key调用hashcode（）函数得到的哈希吗（hashcode），此哈希吗是一个数值类型 ，将此哈希吗数值直接与整数的最大值（Integer.MAXVALU
转载
2023-09-06 19:25:35
47阅读
sqoop数据迁移工具Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。我的环境centos6.5hadoop2.4sqoop-1.
# Hadoop 数据盘 RAID 的实现
## 1. 简介
Hadoop 是一种用于分布式存储和处理大数据的开源框架。RAID（冗余独立磁盘阵列）是一种数据保护技术，通过将数据分散存储在多个磁盘上，提供数据冗余和容错能力。在 Hadoop 中实现数据盘 RAID 可以提高数据的可靠性和容错能力。
本文将指导你如何在 Hadoop 中实现数据盘 RAID。
## 2. 实现流程
下面是实现
原创
2023-12-03 07:30:55
78阅读
# 如何实现 Hadoop 多数据盘配置
在大数据环境中，Hadoop 是一个广泛使用的分布式计算框架，而正确配置 Hadoop 的多数据盘能够提升其性能和数据处理能力。本文将分步骤指导您如何实现 Hadoop 多数据盘存储。
## 流程步骤
下面是实现 Hadoop 多数据盘的基本流程：
| 步骤 | 描述 |
|------|------|
| 1 | 准备多块数据盘 |
| 2
原创
2024-08-22 08:36:11
61阅读
HDFS的工作原理Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1、分布式文件系统多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布
转载
2023-07-20 14:47:22
42阅读
Hadoop云盘项目总结0. 项目介绍介绍视频：
基于Hadoop搭建HA高可用网盘系统 搭建过程： 我的搭建过程 小组成员的搭建过程 项目地址待完善后会发出来 技术栈:HDFS、Sqoop、Flume、Ganglia、Azkaban、Zookeeper、Redis、Nginx、Docker、Vue-Cli **实现功能：**使用 Hadoop 搭建 HA 集群实现网盘系统，前端采用
转载
2024-05-08 09:17:24
6阅读
#!/usr/bin/env python
#coding=utf-8
#scribe日志接收存在小集群到大集群之间， distcp 同步失败的情况，需要手动进行补入。
#1、如果查询补入的日志量少，则可以之间用脚本处理。如果量大，则使用 hadoop 提交job。
# hadoop job 提交方式：
# hadoop jar /usr/local/hadoop-2.4.0/share/ha
转载
2023-09-20 12:37:01
89阅读
由于本人第一次写博客，不喜勿喷，本文章内容只是一个hadoop迁移的心得体会，具体技术问题会在另一篇博客当中详细给出。 本周重点工作就是Hadoop集群迁移，迁移过程中的各种坑都已经一一解决，在踩坑的过程中对于Hadoop的架构，元数据的存储，配置文件的组织等等都有进一步的了解，本周的心得有必要分享一下： 刚开始接到Hadoop迁移这个任务的时候自己心里是没有底气的，因为自我感觉这项任务要比重
转载
2023-07-20 23:58:47
135阅读
软件版本Mysql5.7Java1.8.0_241Hadoop3.3.0Zookeeper3.4.6Hive3.1.2Flink1.14.5Hudi0.11.1Doris1.1.0Dinky0.6.6Flink CDC2.2.0Presto0.261Hue4.1.01. Hadoop集群部署1.1 集群安装1）上传Hadoop安装包到 /opt/software目录下2）解压安装文件到/opt/s
转载
2023-08-01 22:43:05
342阅读
Hadoop集群组件安装部署——HadoopHadoop集群组件安装部署HadoopHadoop部署配置集群配置历史服务器配置日志的聚集分发Hadoop群起集群Hadoop群起脚本集群时间同步 Hadoop集群组件安装部署集群所有进程查看脚本 1）在/home/ly/bin目录下创建脚本xcall.sh[ly@hadoop102 bin]$ vim xcall.sh2）在脚本中编写如下内容#!
转载
2024-03-02 09:52:37
35阅读
[b][color=green][size=large]本事故，发生在测试的环境上，虽然不是线上的环境，但也是一次比较有价值的事故。
起因：公司里有hadoop的集群，用来跑建索引，PHP使用人员，调用建索引的程序时，发现MapReduce集群启动不起来了，报IOException异常，具体的异常没有记录，大致的意思就是磁盘空间满了，导致创建文件失败！
转载
2023-08-21 17:18:58
78阅读
1、 准备配置hadoop需要的软件（1） centos 6.5操作系统（2） jdk-7u79-linux-i586.tar.gz（3） hadoop-2.2.0-64bit.tar.gz2、 &n
目录Hadoop介绍Hadoop集群HDFS分布式文件系统基础文件系统与分布式文件系统HDFS简介HDFS shell命令行HDFS工作流程与机制HDFS集群角色与职责HDFS写数据流程（上传文件）HDFS读数据流程（下载文件） Hadoop介绍用Java语言实现开源 允许用户使用简单的编程模型实现对海量数据发分布式计算处理 Hadoop核心组件：HDFS ：存储YARN：资源调度MapRedu
转载
2023-10-06 20:41:07
55阅读
导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1 生成密匙3.2 免密登录3.3 验证免密登录集群搭建4.1 下载并解压4.2 配置环境变量4.4 修改配置4.4 分发程序4.5 初始化4.6 启动集群4.7 查看集群提交服务到集群1. 集群规划这里搭建一个 3 节点的 Hadoop 集群， 其中三台主机均部署 D
转载
2024-08-08 19:19:31
28阅读
一、实验环境主机操作系统：Windows7 以上（64 位）虚拟机软件：Oracle VM VirtualBox客户机操作系统：CentOS-6.8（64 位）JDK：1.8（Linux 版）SSH 连接客户端，如：Xme5Hadoop： 2.6.5二、实验步骤(1)在主节点解压 hadoop 安装包去官网获取 Hadoop2.6.5 安装包。https://archive.apache.org/
转载
2024-02-19 21:26:46
82阅读
