一、首先谈一谈zookeeper的选举机制注:高可用集群中有两台机器作为namenode,无论在任何时候，集群中只能有一个namenode作为active状态，而另一个是standby状态,为了达到namenode快速容错的目的，引入zookeeper后，hadoop-ha可以在active的namenode出问题时由standby自动切换为active状态 特征 leader 投票发起
转载
2023-07-31 23:25:02
5阅读
hadoop的部署方式有三种：本地模式、伪分布模式、集群模式。本地模式是要求本地操作系统是linux系统，在本地直接进行hadoop的部署，这样部署出的hadoop开发环境是集主节点和从节点于一身的。这样不利于hadoop后续分布式的学习。通过创建虚拟机来搭建hadoop的部署环境，可以相继完成伪分布模式和集群模式。我用的虚拟机版本是VMware12,linux版本是CentOS。现把伪分布模式搭
转载
2023-07-20 17:10:42
128阅读
今天搭建伪分布式集群，遇到了一些问题：1、在启动namenode以后，jps提示command not found。export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/too
转载
2024-07-18 06:42:23
21阅读
一、操作系统环境配置1. 安装jdkrpm文件默认安装目录是 /usr 复制jdk路径配置环境变量配置环境变量的目录 环境配置代码 刷新配置信息 使用jps检测是否配置成功（使用之前一定要先执行. /etc/profile来刷新配置信息 ） 2. 免秘钥 执行完上面两条程序后： 检测密钥是否设置成功：&nbs
转载
2023-11-10 12:22:54
55阅读
目录一、前言二、安装及配置虚拟机1、在个人计算机上安装及配置Linux虚拟机2、使用Xshell工具通过远程访问的方式对虚拟机进行管理3、配置本地YUM源并在线安装常用的软件包三、搭建Hadoop伪分布式集群1、配置免密登录2、HDFS的相关配置3、YARN的相关配置 4、Web端访问 一、前言秉承着学习的态度去写下我在学习Hadoop的一些心得，若有不足之处，还请各位多多包涵
转载
2024-01-31 22:02:27
211阅读
文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免密登录启动Hadoop格式化hdfs文件系统启动hdfs启动yarn启动JobHistory Server（MR）前言准备Win10上通过VMware12 + Centos7准备好了基本环境，配置虚拟机的子网I
转载
2023-06-30 14:36:28
156阅读
一、HDFS伪分布式环境搭建Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实
原创
2018-04-07 11:43:49
4775阅读
点赞
一. HDFS、MR、YARN更改主机名称[root@localhost ~]# hostname node1[root@localhost ~]# vim /etc/hostname[root@localhost ~]# vim/etc/sysconfig/network[root@localhost ~]# cat /etc/sysconfig/networkNETWORKI...
原创
2022-09-30 10:18:30
126阅读
Hadoop是一个用于分布式存储和分析大规模数据的开源软件框架，它采用了分布式文件系统HDFS和分布式计算框架MapReduce。在搭建Hadoop伪分布式集群时，我们会模拟一个真实的分布式环境，使得每个节点都拥有Hadoop的各个组件，并且可以运行MapReduce作业。
整个Hadoop伪分布式集群搭建的过程可以分为以下几个步骤：
| 步骤 | 操作 |
|--
原创
2024-04-25 09:55:53
89阅读
目录 一、下载合适的Hadoop并解压，安装到linux下二、搭建Hadoo1.首先进入到etc下的hadoop目录，要修改的文件都在这个目录下，命令如下：2.修改hadoop-env.sh3.修改hdfs-site.xml4.修改core-site.xml5.修改 mapred-site.xml6.修改 vim yarn-site.xml7.以上5个文件修改完成后，格式化HDFS8.格
转载
2023-10-14 15:56:31
86阅读
这篇文章记录一下hadoop搭建伪分布式的步骤，这里实现的是hadoop 1.X 版本方式 我是通过 Xshell 5 连接虚拟机，连接之后使用 ssh 虚拟机ip 登录的时候需要密匙，这里我先讲一下怎么关闭密码验证，只需要执行以下两行命令，这两行命令在hadoop官网上教伪分布式搭建的文档中。ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/
转载
2023-11-02 10:27:52
50阅读
我在后面学习Hive的时候，在最开始我的Hadoop集群搭建的有问题，所以我决定重头搭建，然后做出笔记。写了一些自己遇到的坑，这里来把这些坑给填上。Hadoop基本安装配置主要包括以下5个步骤。 （1）创建Hadoop用户 （2）安装Java （3）设置SSH登录权限 （4）单机安装配置 （5）伪分布式安装配置 我使用的操作系统是Ubuntu14.4，Hadoop版本为2.7.3第一步，先安装一个
转载
2023-10-03 13:57:05
104阅读
一、下载所需软件和安装包 ：https://pan.baidu/s/1BcJR4zUMnidpJ6Bm5mafVQ 提取码：pojc 二、安装虚拟机 步骤如下： 1. 2. 3. 4. 5. 6.选择其中一个序列号输入：
VG5HH-D6E04-0889Y-QXZET-QGUC8
CY55A-F6G80-H85HQ-WNN5X-W38W4
AC11H-4HZ05-08EDQ-APQGX
转载
2023-10-03 19:23:23
25阅读
入门03_搭建分布式集群1.克隆三台机器1.1 关于虚拟机的移除和删除1.2 分别配置三台虚拟机2. 集群配置2.1 跨机器拷贝/同步脚本2.1.1 scp（secure copy）安全拷贝工具2.1.2 rsync远程同步工具2.1.3 xsync集群分发脚本2.2 SSH无秘登陆配置2.2.1 免密登录原理2.2.2 免密登录配置2.2.3 .ssh文件夹下（~/.ssh）的文件功能解释2.
转载
2023-07-24 13:28:57
157阅读
本教程适用于在 CentOS7 系统中安装 Hadoop2，详细介绍了从系统环境配置、Java环境配置到 Hadoop 安装及 Hadoop 集群配置，包括：单机、伪分布式以及分布式，步骤详细，辅以适当说明。相信按照步骤来，都能顺利搭建一个属于自己的 Hadoop 集群。 废话不多说，干货上架。一、安装虚拟机首先我们需要安装一个虚拟机软件，安装教程可以参考笔者的博客：安装VMware及新建虚拟机二
转载
2024-04-19 17:55:29
463阅读
Hadoop伪分布式集群搭建总结一、所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二、安装注意：对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操作为：点击键盘上的Esc按钮，然后输入英文的:字符，再输入wq，点击回车，完成文件的保存。1、关闭防火墙和禁用SELINUX（1）、永久关闭防火墙，重启Linux系统（2)、禁用SELINUX：修改文件参数重
原创
2019-10-11 17:11:34
1912阅读
点赞
Hadoop2.9伪分布集群环境搭建
原创
2023-04-01 10:23:15
191阅读
# 伪分布式Hadoop集群搭建过程
### 概述
在本文中，我将教你如何搭建一个伪分布式Hadoop集群，这是一个适合初学者学习和练习Hadoop的最佳方式。伪分布式Hadoop集群是在一台机器上模拟多个节点的Hadoop集群，每个节点都可以执行Hadoop任务。这样你可以在本地机器上学习Hadoop的各种功能和配置。
### 操作步骤
下表展示了伪分布式Hadoop集群搭建的操作步骤：
原创
2024-04-25 09:56:23
76阅读
伪分布式：只需要一个虚拟机，所有节点都在该虚拟机上1.首先，需要安装JDK，将上传的jdk解压tar -zxvf jdk压缩包2.配置环境变量，位置：/etc/profileexport JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin注：两个地方都能配置 用户变量&nb
转载
2023-11-29 20:16:06
50阅读
