目录一、HDFS-HA配置和测试1. 修改hdfs-site.xml2. 修改core-site.xml3. 服务启动二、自动故障转移1. 修改hdfs-site.xml文件2. 修改core-site.xml文件3. 服务启动试想一个场景，每个hdfs集群只有一个namenode节点，如果这个namenode节点不可用，那么整个hdfs集群服务都不可用，这样集群的可抗性是非常差的。HDFS-HA
转载
2024-02-23 11:25:17
127阅读
笔记相关信息：其他F:\HTML_前端\PHP\B站黑马BV18x411H7qD\Day02 语法&变量&数据类型.docxPHP语句分隔符最后一行PHP代码可以没有语句结束符“;”# 变量PHP是一种动态网站开发的脚本语言，动态语言特点是交互性，会有数据的传递，而PHP作为“中间人”，需要进行数据的传递，传递的前提就是PHP能自己存储数据(临时存储)变量基本概念变量来源于数学，是
大家都知道namenode是hadoop中的一个很重要的节点，因为他存在着跟datanode的交互跟客户端的交互，存储着dotanode中的元数据，所以就很想学习他们是如何沟通并能保证数据在任何情况下都不会丢失那？ namenode的作用： 1.维护元数据信息。 2.维护hdfs的目录树。 3.相应客户端的请求。 我们先来看一下namenode大致的工作流程 可以看到nameno
转载
2024-04-03 20:20:35
31阅读
本篇我们来看看HDFS集群的部署，1 Customize configuration files 下面介绍的配置文件的配置项是你集群中必须配置的 1&nbs
转载
2023-11-19 22:30:16
123阅读
# 如何实现“YARN必须部署在HDFS集群吗”
在大数据环境中，YARN (Yet Another Resource Negotiator) 和 HDFS (Hadoop Distributed File System) 是两个至关重要的组件。初学者可能会好奇，YARN是否必须与HDFS一起部署。在这篇文章中，我们将详细阐述这个问题，并通过一个步骤化的流程指导小白如何理解与实现这一过程。
#
1.基础环境准备1.1创建一个新的虚拟机1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。 1.11修改MAC地址与配置文件中一致 1.12
转载
2024-04-24 11:29:42
208阅读
二.Hadoop集群搭建本文是在《Hadoop集群搭建之Linux部分》基础上继续阐述的。本文中安装的Hadoop版本信息为：hadoop-2.8.31.HDFS核心配置本文中，在HDFS部分一些非常重要的核心参数配置如图1-1所示。对HDFS核心参数配置简述如下：namenode在主机名为cts01机器上运行；namenode存元数据的本地目录为：/root/hdpdata/name/；data
转载
2023-10-27 16:51:28
78阅读
版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客的高可用集群是建立在完全分布式基础之上的，详情请参考：。并且需要新增一台Linux服务器，用于Namenode的备份节点。 一.实验环境准备 需要准备五台Linux操作系统的服务器，配置参数最好一样，由于我的虚拟机是之前完全分布式部署而来的，因此我的环境都一致。1>.NameNode
转载
2024-02-26 12:21:23
25阅读
本篇博客跟大家分享一下如何在VMware虚拟机集群上部署HDFS集群一·、下载hadoop安装包进入官网：https://hadoop.apache.org 下载hadoop安装包由于Apache Hadoop是国外网址，下载安装包对于网络要求较高 二、上传压缩包，进行解压在进行解压之前，保证自己已经完成vmwa的黄静配置 三、修改文件 配置workers
原创
2023-09-11 22:47:18
179阅读
大数据之HDFS-HA高可用集群搭建1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode
转载
2023-12-24 13:59:43
168阅读
概览1.集群规划 2.准备 3.修改Hadoop配置文件 4.复制内容 5.启动集群 6.查看jps 7.测试1.集群规划HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机
转载
2024-04-19 11:56:32
233阅读
HDFS 集群由一个主/从架构组成，单个运行 NameNode 进程的服务器为主节点服务器，多个运行 DataNode 进程的服务器为从节点服务器安装准备主机名IP地址服务器node-01192.168.229.21NameNode服务器、DataNode服务器node-02192.168.229.22DataNode服务器node-03192.168.229.23DataNode服务器安装步骤1
转载
2024-05-07 11:05:31
61阅读
一、系统初始化 1、禁用防火墙 systectl disable firewalld system stop firewalld 2、禁用selinux sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /etc/selinux/config setenforce 0 3、安装依赖包 yum install -y psmiscfence需要使用到fus
转载
2024-05-01 09:44:27
175阅读
1、文件准备下载hadoop安装包链接: hadoop-3.3.42、安装Hadoop上传文件到服务器解压到指定安装路径（这里是/export/server）tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/ 进入安装路径，创建软连接cd /export/server
ln -s /export/server/hadoop-3.3.4 hadooph
HDFS 详解 ：HDFS 基本介绍 ① HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。② 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前
转载
2024-03-04 15:26:47
36阅读
从0开始搭建Hadoop2.x高可用集群（HDFS篇）演示目标演示环境注意事项准备虚拟机关闭防火墙检查系统时间修改host设置免密登录卸载OpenJDK安装软件准备HDFS配置cote-site.xml配置hdfs-site.xml配置slaves配置hadoop-env拷贝配置准备Zookeeper配置zoo.cfg启动集群启动Zookeeper集群启动HDFS集群首次启动验证高可用（HA）
转载
2024-03-24 11:18:35
121阅读
HDFS介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。HDFS的特性是一个文件系统，用
转载
2024-02-11 19:49:48
37阅读
NameNode学习目标理解 namenode 的工作机制尤其是元数据管理机制，以增强对 HDFS 工作原理的 理解，及培养 hadoop 集群运营中“性能调优”、“namenode”故障问题的分析解决能力问题场景1、Namenode 服务器的磁盘故障导致 namenode 宕机，如何挽救集群及数据？2、Namenode 是否可以有多个？namenode 内存要配置多大？namenode 跟集群数
转载
2024-07-04 10:40:55
32阅读
前面我已经就HDFS集群的启动问题在整体上进行了阐述，而在本文，我将主要针对DataNode节点在启动的过程中会首先向NameNode节点进行注册这一细节进行深入的讨论。DataNode节点的服务地址，而是让NameNode节点来记住所有的DataNode节点信息，然后客户端通过NameNode节点来获取DataNode节点的信息。当然，真实的情况是，由NameNode节点来收集所有的DataN
转载
2024-08-16 13:27:18
55阅读
一、前言任务调度管理作为基础架构通常会出现于我们的业务系统中，目的是让各种任务能够按计划有序执行。比如定时给用户发送邮件、将数据表中的数据同步到另一个数据表都是一个任务，这些相对耗时的操作通过任务调度系统来异步并行执行，既能提高任务的执行效率又能保障任务执行的可靠性。实现的方式也是多种多样，比如使用Timer进行简单调度或者使用Quartz类似的框架，本文基于淘宝开源框架TbSchedule实
