1.安装Hadoop单机模式安装Hadoop安装JAVA环境设置环境变量，启动运行 1.1 环境准备 1）配置主机名为nn01，ip为192.168.1.21，配置yum源（系统源）备注：由于在之前的案例中这些都已经做过，这里不再重复. 2）安装java环境nn01 ~]# yum -y install java-1.8.0-openjdk-devel
nn01 ~]
转载
2024-08-02 14:29:55
54阅读
为什么要配置HDFS HA? 首先:HDFS集群中NameNode 如果存在单点故障。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用. 而影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可
转载
2024-02-19 22:04:14
57阅读
1、背景 有一个hdfs高可用集群，因为某些操作，导致其中一个namenode的信息全部丢失了。最后只剩下一个完整的namenode信息和datanode信息。于是在在启动hdfs后发现独有的namenode始终处于standby状态。即使通过hdfs haadmin -transitionToActiv
转载
2024-06-28 14:38:52
191阅读
【oiv】offline image viwer -------------------------------------------------------------- 1.用于查看Hadoop fsimage 2.语法 $> hdfs oiv -i inputfile -o outputfile -P process
转载
2024-06-25 20:43:22
30阅读
Linux -- 之HDFS实现自动切换HA（全新HDFS）JDK规划 &nb
Ⅰ. 启动OushuDB集群
安装OushuDB集群会依次部署Zookeeper集群，HDFS集群，OushuDB集群，因此启动OushuDB集群需要将这三者依次启动。
一. 启动Zookeeper集群
1）使用hawq脚本进行群起，命令中注意需要切换到zookeeper用户
hawq ssh -f zkhostfile -e 'sudo -u zookeeper /usr/hdp/cur
1. HDFS 2.0 基本概念 相比于 Hadoop 1.0,Hadoop 2.0 中的 HDFS 增加了两个重大特性,HA 和 Federaion。HA 即为 High Availability,用于解决 NameNode 单点故障问题,该特性通过热备的方式为主 NameNode 提供一个备用者,一旦主 NameNode 出现故障,可以迅速切换至备 NameNode, 从而实现不间断
转载
2024-05-27 16:23:56
51阅读
# Hadoop HDFS 更换 Namenode 实现方法
## 流程表格展示
| 步骤 | 操作 |
| --- | --- |
| 1 | 停止当前的namenode服务 |
| 2 | 配置新的namenode节点 |
| 3 | 格式化新的namenode |
| 4 | 启动新的namenode服务 |
## 操作步骤及代码示例
### 步骤1：停止当前的namenode服务
原创
2024-06-19 06:01:13
198阅读
昨日，把我电脑一个63G的分区分为了两个，之后我才想起我的MBR是从grub2引导的，糟糕，这下坏了，果然，重启后不能进入操作系统，仅仅出现grub 引导错误。 机器操作系统状况： Ubuntu9.10,windowsxp双系统，grub2引导。临时解决方案：找一张windows的安装盘，在控制台修复模式下，使用fixmbr命令修复MBR为windows启动，重
API上的文档,用翻译工具看的.记录一下Quickview/快速查看The Network Location Provider provides good location data without using GPSNetwork Location Provider 在不使用GPS的情况下提供了良好的位置数据Obtaining user location can consume a lot of
转载
2024-10-18 20:41:30
18阅读
一、HDFS原理（1）HDFS概述HDFS集群分为两大角色：NameNode、DataNodeNameNode负责管理整个文件系统的元数据DataNode 负责管理用户的文件数据块文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上每一个文件块可以有多个副本，并存放在不同的datanode上Datanode会定期向Namenode汇报自身所保存的文件block
转载
2024-03-15 20:07:42
280阅读
老规矩，还是分三步走，分别为源码调用分析、伪代码核心梳理、调用关系图解。一、源码调用分析 根据上篇的梳理，直接从initialize()方法着手。源码如下，部分代码的功能以及说明，已经在注释阐述了。protected void initialize(Configuration conf) throws IOException {
// 可以通过找到下面变量名的映射，在hdfs-default
转载
2024-04-18 16:15:47
103阅读
一、HDFS的架构：1：Client（客户端）文件切分。文件上传到HDFS的时候，Client将文件切分成一个个block，然后进行存储与NameNode进行交互，获取文件的位置信息与DataNode进行交互，读取或者写入数据Client提供一些命令来管理和访问HDFS，比如启动或者关闭HDFS2：NameNode（master，一个管理者）管理HDFS的名称空间管理数据块（block）映射信息配
转载
2024-04-01 18:41:02
54阅读
多磁头技术：通过在同一碟片上增加多个磁头同时的读或写来为硬盘提速，或同时在多碟片同时利用磁头来读或写来为磁盘提速，多用于服务器和数据库中心。下面是学习啦小编带来的关于电脑硬盘可以随便换吗的内容，欢迎阅读!电脑硬盘可以随便换吗?当然可以换，硬盘在笔记本中属于可直接拆卸的硬件，如果感觉现在的硬盘因为容量，速度，或者是因为故障原因都是可以随时拆卸更换的。500GB的5400转硬盘换成1000G的7200
转载
2024-04-13 10:57:25
63阅读
大数据生态之-----HDFSHDFS工作机制客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息）一丶namenode的工作职责：记录元数据a) 文件的路径b) 文件的副本数量c) 文件切块大小d) block块信息e) block块的位置信
它出现在Hadoop1.x版本中，又称辅助NameNode，在Hadoop2.x以后的版本中此角色消失。如果充当datanode节点的一台机器宕机或者损害，其数据不会丢失，因为备份数据还存在于其他的datanode中。但是，如果充当namenode节点的机器宕机或损害导致文件系统无法使用，那么文件系统上的所有文件将会丢失，因为我们不知道如何根据datanode的块重建文件。因此，对namenode
# Hive 外部表更换 HDFS 文件路径指南
Hive 是一个基于 Hadoop 的数据仓库工具，它提供了 SQL 风格的查询语言，称为 HiveQL，用于查询、管理和分析存储在 Hadoop 分布式文件系统（HDFS）中的大数据。在使用 Hive 时，我们可能会遇到需要更换外部表的 HDFS 文件路径的情况。本文将介绍如何更换 Hive 外部表的 HDFS 文件路径，并提供一个实际示例。
原创
2024-07-29 07:07:55
168阅读
本篇内容关注NameNode启动之前，active状态和standby状态的一些后台服务及准备工作，即源码里的CommonServices。主要包括磁盘空间检查、可用资源检查、安全模式等。依然分为三部分：源码调用分析、伪代码核心梳理、调用关系图解。第一部分，源码调用分析。 接着上篇RpcServer启动之后开始梳理，进入到了initialize()方法中。protected void initi
转载
2024-04-16 10:23:02
53阅读
backplane slot背板插槽硬盘三大种类（SSD；HHD；HDD） 固态硬盘（Solid State Drive）: 用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同，在产品外形和尺寸上也完全与普通硬盘一致。被广泛应用于军事、车载、工控、视频监控、网络监控
一、实验环境 ：1、硬件：3台DELL服务器，CPU：2.27GHz*16，内存：16GB，一台为master，另外2台为slave。2、系统：均为CentOS6.33、hadoop版本：CDH4.5，选用的mapreduce版本不是yarn，而是mapreduce1，整个集群在cloudera manager的监控下，配置时也是通过manager来配置（通过更改配置文件是一样的道理）。
转载
2024-03-25 16:32:03
127阅读
