Hadoop伪分布搭建实验环境：在此环境下修改配置文件（以下文件都是出现在hadoop安
原创
2023-04-25 16:09:04
160阅读
Hadoop伪分布模式搭建 首先要了解一下Hadoop的运行模式：单机模式（standalone）他节点交互，单机模式就不使用HD...
原创
2022-09-09 09:50:24
100阅读
安装环境：系统：Ubuntu 14.10 64bithadoop：2.5.1 jdk：1.8.0_11安装步骤：一.安装JDK安装 jdk，并且配置环境以及设置成默认sudo gedit /etc/profile
添加
export JAVA_HOME=/opt/java
export JRE_HOME=/opt/java/jre
export CLASSPA
转载
2023-11-08 13:56:33
42阅读
一、安装前一定要安装ssh二、修改配置文件修改的文件都在/hadooplearn/hadoop-2.7.1/etc/hadoop下：core-site.xml、hdfs-site.xml、yarn-site.xml.三个文件配置文件的添加和修改都在<configuration></configuration> 中1、core-site.xml
<config
转载
2023-11-14 12:19:55
118阅读
大数据 文章目录前言一、下载安装包二、安装步骤2.1.解压hadoop安装包2.2修改环境变量2.3 本地免密登录2.3.1 执行一下命令2.3.2 测试是否生效2.4 修改配置文件2.4.1 修改/root/tools/hadoop-3.2.4/etc/hadoop目录下的core-site.xml2.4.2 修改/root/tools/hadoop-3.2.4/etc/hadoop目录hdfs
转载
2023-08-21 12:15:17
114阅读
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:接下来是hadoop伪分布搭建的要准备东西： jdk1.8.0_221 hadoop-2.7.7 我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7W
转载
2023-09-14 13:10:30
119阅读
Hadoop为分布式搭建过 1利用之前安装好的虚拟环境下的linux系统2关闭防火墙①查看防火墙状态[root@standalone ezr]# service iptables status②关闭防火墙a重启后生效 开启： chkconfig iptables on 关闭： chkconfig iptables off b即时生效，重启后失效 开启： service iptables start
原创
2020-04-16 15:16:08
863阅读
搭建伪分布环境 上传hadoop2.7.0编译后的包并解压到/zzy目录下 mkdir /zzy 解压 tar -zxvf hadoop.2.7.0.tar.gz -C /zzy 配置hadoop 注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改5个配置文件 第一个：hadoop-env.sh vim hado...
原创
2021-07-29 10:48:50
114阅读
Hadoop伪分布式环境搭建1.操作系统安装2.环境配置1.网络环境配置2.运行环境配置3.软件配置1.Hadoop配置文件4.使用操作 1.操作系统安装安装CentOS 72.环境配置1.网络环境配置·静态IP（从外部xshell登录以及xftp文件传输）1.设置静态IP和IP地址ip addr #查看IP
vi /etc/sysconfig/network-scripts/ifcfg-ens
转载
2024-05-15 12:43:38
224阅读
Hadoop安装一.打开MobaXterm（前提：把虚拟机要打开）二.输入`cd software`来到software目录下，导包，找到下面框选出的两个压缩文件，复制到software目录下，如下图所示三.输入`tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz`对hadoop安装包进行解压，然后回车一顿解压解压完成后，可以输入`ll`查看当前文件，有一个hadoo
转载
2023-07-09 15:07:51
256阅读
Hadoop-伪分布式搭建配置过程可参考官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation一、准备工作伪分布式就是一个节点跑一个集群，前提条件：主机名、防火墙都设置好。 检查：1.主机名：[roo
转载
2023-12-20 21:05:29
41阅读
一台机器的各个进程上运行hadoop多个模块，但并不是真正的分布式，因为是一台机器。但是HDFS和MapReduce，还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useradd hadoop
passwd hadoop然后给hadoop以root的权限，这样比较方便，当然真正配置分布式时不能给这么大权限。vim /etc/sudoers添加如下ro
转载
2023-09-20 12:02:27
156阅读
一、 准备工作 1、安装虚拟机 （1）打开安装向导； （2）、接受许可协议，点击下一步； （3）选择典型安装； （4）更改安装路径； （5）等待安装完成。 2、 安装Linux操作系统 （1）打开新建虚拟机向导，选择典型，点击下一步； （2）更改安装路径； （3）填写安装信息； （4）将网络适配器更改为桥接模式； 3、 登录Linux操作系统进行相关配置 （1）查看文件夹结构 （2）、测试网络环境
转载
2023-08-16 17:46:14
75阅读
Hadoop伪分布式模式部署 Hadoop2.x：官网：hadoop.apache.org三个组件： HDFS：分布式文件系统，存储 MapReduce：分布式计算 Yarn：资源（cpu + memory）和JOB调度监控
文档地址： http://hadoop.apache.org/docs/r2.8.2/
部署方式：
1.单机模式（
转载
2023-09-14 13:38:57
58阅读
最近刚自己又分别搭了一次Hadoop的两个环境，主要是给想学习Hadoop刚开始的环境搭建以及遇到的一些问题。因为刚开始自己Hadoop也是自学的所以遇上了很多问题，这次比较顺利，Hadoop学习的基础肯定是java和Linux，下面我就从伪分布式开始说一下其中的步骤和遇上的问题。其中虚拟机用的是Centos 6的版本，这个用起来比较方便，建议用mini版
转载
2023-07-09 14:43:50
148阅读
胖虎的Hadoop笔记——Hadoop的伪分布式部署本博客用于Hadoop大数据企业课笔记记录。第三步一、VMware安装和创建虚拟机1.VMware安装安装包下载：https://pan.baidu.com/s/16T72wWtK3zMbAdyfavNGDA 提取码：on8c2.创建虚拟机（CentOS7）下载镜像文件：https://pan.baidu.com/s/16T72wWtK3zMbA
转载
2023-07-24 13:19:01
165阅读
