Hadoop伪分布式模式部署 Hadoop2.x：官网：hadoop.apache.org三个组件： HDFS：分布式文件系统，存储 MapReduce：分布式计算 Yarn：资源（cpu + memory）和JOB调度监控
文档地址： http://hadoop.apache.org/docs/r2.8.2/
部署方式：
1.单机模式（
转载
2023-09-14 13:38:57
58阅读
# Hadoop伪分布式搭建总结
## 引言
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和分析。它能够在集群中高效地存储和处理大量数据，并提供了容错性和可靠性。本文将介绍如何在本地环境中搭建Hadoop伪分布式集群，并提供相应的代码示例。
## 准备工作
在搭建Hadoop伪分布式集群之前，需要确保以下几点准备工作已经完成：
1. 安装Java Develo
原创
2023-09-04 12:43:23
51阅读
Hadoop伪分布式集群搭建总结一、所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二、安装注意：对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操作为：点击键盘上的Esc按钮，然后输入英文的:字符，再输入wq，点击回车，完成文件的保存。1、关闭防火墙和禁用SELINUX（1）、永久关闭防火墙，重启Linux系统（2)、禁用SELINUX：修改文件参数重
原创
2019-10-11 17:11:34
1916阅读
点赞
大数据 文章目录前言一、下载安装包二、安装步骤2.1.解压hadoop安装包2.2修改环境变量2.3 本地免密登录2.3.1 执行一下命令2.3.2 测试是否生效2.4 修改配置文件2.4.1 修改/root/tools/hadoop-3.2.4/etc/hadoop目录下的core-site.xml2.4.2 修改/root/tools/hadoop-3.2.4/etc/hadoop目录hdfs
转载
2023-08-21 12:15:17
114阅读
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:接下来是hadoop伪分布搭建的要准备东西： jdk1.8.0_221 hadoop-2.7.7 我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7W
转载
2023-09-14 13:10:30
119阅读
之前我们都了解了什么是Hadoop生态圈以及大数据是什么？如果有新来的小伙伴感兴趣的话可以在我的博客中查看相关介绍。 今天我们就来进行实践操作----也就是我们的伪分布式框架搭建 要安装Hadoop生态圈首先你的虚拟机中要有jdk，而且你的虚拟机必须保证可以上网可以被外部连接，这里我一一介绍。 一、网络配置 首先按照平时安装linux系统那样安装系统，在安装完之后 在这个位置中 在这里我们选择镜像
转载
2023-10-02 19:18:16
301阅读
为什么是Hadoop高可靠性：Hadoop维护多个数据副本当出现单点故障的时候可以对节点进行重新分布。高扩展性：我们可以增加或者减少服务器节点/数据节点。非常适合于现在科技工业的运维。高效性：Hadoop中的MapReduce采用分布式计算框架继续宁数据的处理，速度较快，（当然MapReduce在实际中用的并不多，因为读写硬盘非常的浪费时间，后米娜我们会提到）。容错性：第一点我们说到Hadoop会
转载
2023-09-04 10:48:40
262阅读
一、 准备工作 1、安装虚拟机 （1）打开安装向导； （2）、接受许可协议，点击下一步； （3）选择典型安装； （4）更改安装路径； （5）等待安装完成。 2、 安装Linux操作系统 （1）打开新建虚拟机向导，选择典型，点击下一步； （2）更改安装路径； （3）填写安装信息； （4）将网络适配器更改为桥接模式； 3、 登录Linux操作系统进行相关配置 （1）查看文件夹结构 （2）、测试网络环境
转载
2023-08-16 17:46:14
75阅读
一台机器的各个进程上运行hadoop多个模块，但并不是真正的分布式，因为是一台机器。但是HDFS和MapReduce，还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useradd hadoop
passwd hadoop然后给hadoop以root的权限，这样比较方便，当然真正配置分布式时不能给这么大权限。vim /etc/sudoers添加如下ro
转载
2023-09-20 12:02:27
156阅读
最近刚自己又分别搭了一次Hadoop的两个环境，主要是给想学习Hadoop刚开始的环境搭建以及遇到的一些问题。因为刚开始自己Hadoop也是自学的所以遇上了很多问题，这次比较顺利，Hadoop学习的基础肯定是java和Linux，下面我就从伪分布式开始说一下其中的步骤和遇上的问题。其中虚拟机用的是Centos 6的版本，这个用起来比较方便，建议用mini版
转载
2023-07-09 14:43:50
148阅读
Hadoop为分布式搭建过 1利用之前安装好的虚拟环境下的linux系统2关闭防火墙①查看防火墙状态[root@standalone ezr]# service iptables status②关闭防火墙a重启后生效 开启： chkconfig iptables on 关闭： chkconfig iptables off b即时生效，重启后失效 开启： service iptables start
原创
2020-04-16 15:16:08
863阅读
Hadoop伪分布式搭建
原创
2016-01-13 21:36:26
637阅读
大数据hadoop系列
原创
2018-04-10 10:01:09
3088阅读
点赞
Hadoop安装一.打开MobaXterm（前提：把虚拟机要打开）二.输入`cd software`来到software目录下，导包，找到下面框选出的两个压缩文件，复制到software目录下，如下图所示三.输入`tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz`对hadoop安装包进行解压，然后回车一顿解压解压完成后，可以输入`ll`查看当前文件，有一个hadoo
转载
2023-07-09 15:07:51
256阅读
Hadoop伪分布式环境搭建1.操作系统安装2.环境配置1.网络环境配置2.运行环境配置3.软件配置1.Hadoop配置文件4.使用操作 1.操作系统安装安装CentOS 72.环境配置1.网络环境配置·静态IP（从外部xshell登录以及xftp文件传输）1.设置静态IP和IP地址ip addr #查看IP
vi /etc/sysconfig/network-scripts/ifcfg-ens
转载
2024-05-15 12:43:38
224阅读
Hadoop-伪分布式搭建配置过程可参考官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation一、准备工作伪分布式就是一个节点跑一个集群，前提条件：主机名、防火墙都设置好。 检查：1.主机名：[roo
转载
2023-12-20 21:05:29
41阅读
所需条件：1.三台centos7-64虚拟机（请使用单独的“4G内存2CPU三台虚拟机”环境。（一台master主机，两台slave主机，分别为slave1，slave2）2.Java安装包版本：jdk-8u161-linux-x64.tar.gz（旧版本）3.hadoop安装包版本：hadoop-2.7.3.tar.gz（旧版本）注：若电脑上有xftp，连接虚拟机将安装包拖到虚拟机里，安装包到A
转载
2024-08-02 13:14:23
63阅读
目录一、前言二、安装及配置虚拟机1、在个人计算机上安装及配置Linux虚拟机2、使用Xshell工具通过远程访问的方式对虚拟机进行管理3、配置本地YUM源并在线安装常用的软件包三、搭建Hadoop伪分布式集群1、配置免密登录2、HDFS的相关配置3、YARN的相关配置 4、Web端访问 一、前言秉承着学习的态度去写下我在学习Hadoop的一些心得，若有不足之处，还请各位多多包涵
转载
2024-01-31 22:02:27
211阅读
文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免密登录启动Hadoop格式化hdfs文件系统启动hdfs启动yarn启动JobHistory Server（MR）前言准备Win10上通过VMware12 + Centos7准备好了基本环境，配置虚拟机的子网I
转载
2023-06-30 14:36:28
156阅读
采用伪分布式模式：即hadoop将所有进程运行于同一台主机上，但此时Hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的Hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常
转载
2023-07-25 18:43:20
130阅读
