一、服务器准备及前置操作：准备要搭建集群的服务器hostnameip地址hcy-03192.168.0.111hcy-04192.168.0.112hcy-05192.168.0.1131.关闭防火墙chkconfig -off iptables (centos6)
chkconfig -off ip6tables (centos6)
systemctl stop firewalld.servi
转载
2023-09-06 17:57:52
117阅读
最近学大数据导论课程，要求学学hadoop，本教程主要讲述如何配置 Hadoop 集群（这里用的 Hadoop3.1.3），由于我也是自己捣鼓的，很多问题其实是没有解决的，该教程只是为了提供方案与参考，尚有不足可提出。 目录1.1 准备1.2 简介步骤1.3 环境配置2.1 安装 Haoop 前奏2.2 安装 Hadoop3.1.32.2.1 下载解压2.2.2 配置环境2.2.3 文件拷贝2.3
转载
2023-07-24 13:00:40
139阅读
本章将一步一步在win10下安装Hadoop3.0.0，并启动服务进行简单的hdfs操作。准备工作1、Hadoop官方下载地址： http://hadoop.apache.org/releases.html选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载，建议采用专业的下载工具下载，速度更快2、将tar.gz包解压至D盘根目录：[外链图片转存失败,源站可能有防盗链机制,建议将图
转载
2023-08-11 13:03:07
110阅读
文章目录hadoop3.1.3集群配置1、安装软件2、关闭防火墙3、创建hadoop用户4、卸载Linux自带的JDK5、克隆三台虚拟机6、安装jdk、hadoop7、配置环境变量8、本地模式测试9、完全分布式9.1配置SSH免密登录9.2 集群配置9.3 分发配置文件至其他节点9.4 启动集群9.5 各节点服务运行状况jps10、面试题 hadoop3.1.3集群配置1、安装软件最小化安装中一
转载
2023-08-25 12:08:13
146阅读
hadoop3.1.3 local 安装模式1）将hadoop安装包上传到/opt/software目录下2）解压安装文件到/opt/module下面tar -zxv
原创
2023-02-01 09:44:15
74阅读
操作系统：本人的操作系统为CentOS7.4，软件安装包路径为 /data ， 软件安装路径为 /apps ，环境搭建过程中路径请做相应改动 准备工作：一、下载软件安装包(附官下载地址)：1、jdk-8u231-linux-x64.tar.gz （hadoop 3.1.3 需要的java版本为 jdk 1.8）https://www.oracle.com/technetwork/java
转载
2023-09-14 15:16:46
972阅读
hadoop 3.1.3 完全分布式+HA+Zookeeper
原创
2023-09-29 21:57:39
174阅读
一、环境及工具使用说明 虚拟机：Oracle VM VirtualBox 下载地址：VirtualBox-6.1.34a-150636-Win.exe下载地址Linux版本：CentOS 7 下载地址：CentOS-7-x86_64-DVD-2009.iso下载地址JDK版本：jdk1.8 下载地址：jdk-8u333-linux-x64.tar.gz下载地址Hadoop版本：hadoop-3.3
转载
2023-12-10 11:10:19
141阅读
目录前言一、前提条件二、安装Java1.81.使用wget将安装包下载到虚拟机中2.将下载好的jdk安装包解压到local目录下3.配置java环境变量4.使环境变量生效：5.测试java 是否安装成功：6.如图即为安装成功：7.将环境变量跟jdk安装包分发到子节点（此操作需要配置免密登录和本地主机名）：8.分发完之后使环境变量生效即可(每个节点都需要)：三、Hadoop3.1.3安装部署1.将
转载
2024-01-24 09:49:52
113阅读
文章目录数仓项目—hadoop3.1.3的安装和配置1. hadoop3.1.3的安装2. 配置hadoop3.1.3core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers3. 配置历史服务器配置mapred-site.xml4. 配置日志聚集功能配置yarn-site.xml5. 分发配置文件6. 格式化7. 启动集群配置ha
转载
2023-11-05 09:38:22
94阅读
文章目录前言一、集群机器的准备1、关闭防火墙2、配置静态 IP3、主机名称二、配置SSH无密登录1、以192.168.29.151为例2、安装配置jdk和hadoop3、文件复制三、hadoop的集群配置1、集群的配置介绍2、4个xml文件的配置3、配置workers四、启动集群1、NameNode初始化2、启动 HDFS、YARN3、验证是否成功启动4、有可能的出错总结 前言本文是基于hado
转载
2023-07-12 09:47:34
306阅读
目录1.安装JDK（1.8）2.关闭防火墙 3.添加用户 4.关闭SElinux 5.配置节点域名解析 6.安装Hadoop 8.复制三台虚拟机并修改信息 9.配置免密登录10.启动hadoop 1.安装JDK（1.8）先删除虚拟机内自带的java在根目录下创建文件夹用于存放安装包mkdir package赋予文件夹权限chmo
转载
2023-12-27 22:02:58
40阅读
硬件环境：虚拟机环境配置硬件：1CPU + [RAM]4G + [DISK]128G系统：Centos7 x64这里没有像尚硅谷一样做地址映射解析，直接取IP（我太懒）192.168.242.131
192.168.242.132
192.168.242.133 前置依赖环境：前置环境准备（3台机器都需要）：sudo yum install -y net-tools
sudo
转载
2024-06-19 22:12:00
100阅读
（1）配置：hadoop-env.shLinux系统中获取JDK的安装路径：[atguigu@ hadoop101 ~]# echo $JAVA_HOME/opt/module/jdk
原创
2023-02-01 09:44:27
183阅读
文章目录一、搭建集群1.1 架构信息1.2 配置文件1.3 修改自定义配置文件1.4 分发配置文件二、启动hadoop集群2.1 启动hdfs2.1.1 添加workers节点2.1.2 格式化namenode2.1.3 启动集群2.2 启动yarn 一、搭建集群1.1 架构信息各组件和机器间的对应关系如下表hadoop100hadoop101hadoop102HDFSNameNode Data
转载
2023-10-02 21:00:24
123阅读
1,在学习HDFS编程实践前，我们需要启动Hadoop（版本是Hadoop3.1.3）。
原创
2022-06-05 01:36:14
1983阅读
教程适用的环境及软件选用的版本系统：Windows 10 21H1 JDK：1.8.0_271 Scala：2.12.11 Hadoop：3.3.0 IDEA：2021.1.3提供附件格式说明官网下载速度较慢，所以将使用到的附件上传到了阿里云盘 附件 winutils-master.exe、hadoop-3.3.0.exe 之所以采用.exe（自解压格式），是因为阿里云盘不支持压缩文件的分享；若担
转载
2023-10-09 22:07:59
24阅读
文章目录1、查看是否安装好了Java开发环境2、下载安装Hadoop所需要的文件3、解压已下载的文件4、替换原安装包的bin文件夹5、配置Hadoop环境变量6、检查环境变量是否配置成功7、配置hadoop的配置文件1. 配置core-site.xml文件2. 配置mapred-site.xml3. 配置yarn-site.xml4. 新建namenode文件夹和datanode文件夹5. 配置
转载
2023-07-21 13:52:17
1226阅读
最近做实验需要在Linux系统安装Hadoop，由于我之前就想在window上安装，所以借此机会先在window上安装再在Linux安装。个人比较喜欢安装比较新的东西，所以选择Hadoop3.1.3准备工具 ： 1、jdk8，这里不要用其他jdk了，会出现一些其他问题的，我用jdk11有些包就找不到，好像jdk9都不行 2、Hadoop3.1.3，官网下载，也可以下载其他的3.0以上的版本，3.0
转载
2023-11-18 23:43:35
257阅读
目录集群搭建前置准备1 Hadoop部署1.1 集群部署规划1.2 上传下载好的hadoop-3.1.3.tar.gz并解压1.3 将Hadoop添加到环境变量2 配置集群2.1 配置核心文件2.2 HDFS配置文件2.3 YARN配置文件2.4 MapReduce配置文件2.5 配置workers2.6 配置历史服务器2.7 配置日志的聚集2.9 群起集群3 配置时间同步1）时间服务器配置（必须
转载
2023-09-04 22:58:38
132阅读
