操作系统：本人的操作系统为CentOS7.4，软件安装包路径为 /data ， 软件安装路径为 /apps ，环境搭建过程中路径请做相应改动 准备工作：一、下载软件安装包(附官下载地址)：1、jdk-8u231-linux-x64.tar.gz （hadoop 3.1.3 需要的java版本为 jdk 1.8）https://www.oracle.com/technetwork/java
转载
2023-09-14 15:16:46
972阅读
hadoop 3.1.3 完全分布式+HA+Zookeeper
原创
2023-09-29 21:57:39
174阅读
本章将一步一步在win10下安装Hadoop3.0.0，并启动服务进行简单的hdfs操作。准备工作1、Hadoop官方下载地址： http://hadoop.apache.org/releases.html选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载，建议采用专业的下载工具下载，速度更快2、将tar.gz包解压至D盘根目录：[外链图片转存失败,源站可能有防盗链机制,建议将图
转载
2023-08-11 13:03:07
110阅读
一、服务器准备及前置操作：准备要搭建集群的服务器hostnameip地址hcy-03192.168.0.111hcy-04192.168.0.112hcy-05192.168.0.1131.关闭防火墙chkconfig -off iptables (centos6)
chkconfig -off ip6tables (centos6)
systemctl stop firewalld.servi
转载
2023-09-06 17:57:52
117阅读
1,在学习HDFS编程实践前，我们需要启动Hadoop（版本是Hadoop3.1.3）。
原创
2022-06-05 01:36:14
1983阅读
hadoop3.1.3 local 安装模式1）将hadoop安装包上传到/opt/software目录下2）解压安装文件到/opt/module下面tar -zxv
原创
2023-02-01 09:44:15
74阅读
最近学大数据导论课程，要求学学hadoop，本教程主要讲述如何配置 Hadoop 集群（这里用的 Hadoop3.1.3），由于我也是自己捣鼓的，很多问题其实是没有解决的，该教程只是为了提供方案与参考，尚有不足可提出。 目录1.1 准备1.2 简介步骤1.3 环境配置2.1 安装 Haoop 前奏2.2 安装 Hadoop3.1.32.2.1 下载解压2.2.2 配置环境2.2.3 文件拷贝2.3
转载
2023-07-24 13:00:40
139阅读
文章目录hadoop3.1.3集群配置1、安装软件2、关闭防火墙3、创建hadoop用户4、卸载Linux自带的JDK5、克隆三台虚拟机6、安装jdk、hadoop7、配置环境变量8、本地模式测试9、完全分布式9.1配置SSH免密登录9.2 集群配置9.3 分发配置文件至其他节点9.4 启动集群9.5 各节点服务运行状况jps10、面试题 hadoop3.1.3集群配置1、安装软件最小化安装中一
转载
2023-08-25 12:08:13
146阅读
一、环境及工具使用说明 虚拟机：Oracle VM VirtualBox 下载地址：VirtualBox-6.1.34a-150636-Win.exe下载地址Linux版本：CentOS 7 下载地址：CentOS-7-x86_64-DVD-2009.iso下载地址JDK版本：jdk1.8 下载地址：jdk-8u333-linux-x64.tar.gz下载地址Hadoop版本：hadoop-3.3
转载
2023-12-10 11:10:19
141阅读
目录前言一、前提条件二、安装Java1.81.使用wget将安装包下载到虚拟机中2.将下载好的jdk安装包解压到local目录下3.配置java环境变量4.使环境变量生效：5.测试java 是否安装成功：6.如图即为安装成功：7.将环境变量跟jdk安装包分发到子节点（此操作需要配置免密登录和本地主机名）：8.分发完之后使环境变量生效即可(每个节点都需要)：三、Hadoop3.1.3安装部署1.将
转载
2024-01-24 09:49:52
113阅读
最近做实验需要在Linux系统安装Hadoop，由于我之前就想在window上安装，所以借此机会先在window上安装再在Linux安装。个人比较喜欢安装比较新的东西，所以选择Hadoop3.1.3准备工具 ： 1、jdk8，这里不要用其他jdk了，会出现一些其他问题的，我用jdk11有些包就找不到，好像jdk9都不行 2、Hadoop3.1.3，官网下载，也可以下载其他的3.0以上的版本，3.0
转载
2023-11-18 23:43:35
257阅读
hadoop集群1. 安装：1.1 安装工具准备：jdk_1.8（已经安装完毕）hadoop_3.3.0 （压缩包）虚拟机安装：vim （查看配置文件带有高亮）yum install vim -y1.2 集群规划：hadoop1hadoop2hadoop3HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerReso
转载
2023-07-12 13:49:33
1682阅读
环境本教程使用 Ubuntu 18.04 64位 作为系统环境（或者Ubuntu 14.04，Ubuntu16.04 也行，32位、64位均可），请自行安装系统（可参考使用VirtualBox安装Ubuntu）。如果用的是 CentOS/RedHat 系统，请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。使用本教程请确保系统处于联网状态下，部分高校使用星网锐捷连接网络，可能导致虚拟
转载
2023-11-18 23:07:40
115阅读
Hadoop3.1.3集群安装一、准备工作1.虚拟机准备2.安装必要插件3.修改主机名4.关闭防火墙5.设置静态ip及映射6.编写分发脚本7.配置ssh无密登录配置8.安装JDK9.重启二、安装Hadoop1.集群规划2.linux181上安装Hadoop1）解压安装包2）配置文件① 核心配置文件② HDFS配置文件③ YARN配置文件④ MapReduce配置文件⑤ workers文件⑥ 修改
转载
2023-07-14 19:33:37
1111阅读
文章目录前言一、集群机器的准备1、关闭防火墙2、配置静态 IP3、主机名称二、配置SSH无密登录1、以192.168.29.151为例2、安装配置jdk和hadoop3、文件复制三、hadoop的集群配置1、集群的配置介绍2、4个xml文件的配置3、配置workers四、启动集群1、NameNode初始化2、启动 HDFS、YARN3、验证是否成功启动4、有可能的出错总结 前言本文是基于hado
转载
2023-07-12 09:47:34
306阅读
文章目录数仓项目—hadoop3.1.3的安装和配置1. hadoop3.1.3的安装2. 配置hadoop3.1.3core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers3. 配置历史服务器配置mapred-site.xml4. 配置日志聚集功能配置yarn-site.xml5. 分发配置文件6. 格式化7. 启动集群配置ha
转载
2023-11-05 09:38:22
94阅读
Apache Hadoop和Apache Spark是大数据处理中非常重要的两个框架。在实际的应用中，可能会遇到需要将Hadoop 3.1.3与对应的Spark版本进行整合的情况。在本文中，我将详细介绍如何实现“hadoop3.1.3对应spark版本”，帮助刚入行的小白快速掌握这个知识点。
整件事情的流程如下表所示:
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载并安装
原创
2024-05-20 10:01:48
338阅读
（1）配置：hadoop-env.shLinux系统中获取JDK的安装路径：[atguigu@ hadoop101 ~]# echo $JAVA_HOME/opt/module/jdk
原创
2023-02-01 09:44:27
183阅读
hadoop安装与搭建集群规划服务器 hadoop102服务器 hadoop103服务器 hadoop104HDFSNameNode DataNod
原创
2021-12-04 17:44:41
443阅读
一、节点信息内核版本：3.10.0-1062.el7.x86_64系统版本：Red Hat Enterprise Linux Server release 7.7 (Maipo)节点ip内存jdkhadoopZKNNDNRNNMJNZKFChdp-01192.186.10.111G√√√√hdp-02192.186.10.121G√√√√hdp-03192.186.10.131G√√√
原创
2021-08-04 17:15:51
321阅读
