大数据 文章目录前言一、下载安装包二、安装步骤2.1.解压hadoop安装包2.2修改环境变量2.3 本地免密登录2.3.1 执行一下命令2.3.2 测试是否生效2.4 修改配置文件2.4.1 修改/root/tools/hadoop-3.2.4/etc/hadoop目录下的core-site.xml2.4.2 修改/root/tools/hadoop-3.2.4/etc/hadoop目录hdfs
转载
2023-08-21 12:15:17
114阅读
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:接下来是hadoop伪分布搭建的要准备东西： jdk1.8.0_221 hadoop-2.7.7 我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7W
转载
2023-09-14 13:10:30
119阅读
写给读者 在大数据环境搭建过程中，Hadoop作为不可避免的一环。伪分布式对于初学者来说，是大数据环境搭建必学的篇目之一，更好的完成伪分布式的搭建，才能够将大数据组件更好的兼容搭配起来。接下来，就让我们来搭建Hadoop伪分布式。搭建伪分布式实验环境 1.完成Linu
转载
2023-08-07 21:59:56
44阅读
一.简介二.安装部署三.运行hadoop例子并测试部署环境四.注意的地方一．简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序
转载
2023-07-24 13:30:04
41阅读
一、 准备工作 1、安装虚拟机 （1）打开安装向导； （2）、接受许可协议，点击下一步； （3）选择典型安装； （4）更改安装路径； （5）等待安装完成。 2、 安装Linux操作系统 （1）打开新建虚拟机向导，选择典型，点击下一步； （2）更改安装路径； （3）填写安装信息； （4）将网络适配器更改为桥接模式； 3、 登录Linux操作系统进行相关配置 （1）查看文件夹结构 （2）、测试网络环境
转载
2023-08-16 17:46:14
75阅读
Hadoop伪分布式模式部署 Hadoop2.x：官网：hadoop.apache.org三个组件： HDFS：分布式文件系统，存储 MapReduce：分布式计算 Yarn：资源（cpu + memory）和JOB调度监控
文档地址： http://hadoop.apache.org/docs/r2.8.2/
部署方式：
1.单机模式（
转载
2023-09-14 13:38:57
58阅读
最近刚自己又分别搭了一次Hadoop的两个环境，主要是给想学习Hadoop刚开始的环境搭建以及遇到的一些问题。因为刚开始自己Hadoop也是自学的所以遇上了很多问题，这次比较顺利，Hadoop学习的基础肯定是java和Linux，下面我就从伪分布式开始说一下其中的步骤和遇上的问题。其中虚拟机用的是Centos 6的版本，这个用起来比较方便，建议用mini版
转载
2023-07-09 14:43:50
148阅读
一台机器的各个进程上运行hadoop多个模块，但并不是真正的分布式，因为是一台机器。但是HDFS和MapReduce，还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useradd hadoop
passwd hadoop然后给hadoop以root的权限，这样比较方便，当然真正配置分布式时不能给这么大权限。vim /etc/sudoers添加如下ro
转载
2023-09-20 12:02:27
156阅读
Hadoop为分布式搭建过 1利用之前安装好的虚拟环境下的linux系统2关闭防火墙①查看防火墙状态[root@standalone ezr]# service iptables status②关闭防火墙a重启后生效 开启： chkconfig iptables on 关闭： chkconfig iptables off b即时生效，重启后失效 开启： service iptables start
原创
2020-04-16 15:16:08
863阅读
Hadoop伪分布式搭建
原创
2016-01-13 21:36:26
637阅读
大数据hadoop系列
原创
2018-04-10 10:01:09
3088阅读
点赞
Hadoop-伪分布式搭建配置过程可参考官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation一、准备工作伪分布式就是一个节点跑一个集群，前提条件：主机名、防火墙都设置好。 检查：1.主机名：[roo
转载
2023-12-20 21:05:29
41阅读
Hadoop伪分布式环境搭建1.操作系统安装2.环境配置1.网络环境配置2.运行环境配置3.软件配置1.Hadoop配置文件4.使用操作 1.操作系统安装安装CentOS 72.环境配置1.网络环境配置·静态IP（从外部xshell登录以及xftp文件传输）1.设置静态IP和IP地址ip addr #查看IP
vi /etc/sysconfig/network-scripts/ifcfg-ens
转载
2024-05-15 12:43:38
224阅读
Hadoop安装一.打开MobaXterm（前提：把虚拟机要打开）二.输入`cd software`来到software目录下，导包，找到下面框选出的两个压缩文件，复制到software目录下，如下图所示三.输入`tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz`对hadoop安装包进行解压，然后回车一顿解压解压完成后，可以输入`ll`查看当前文件，有一个hadoo
转载
2023-07-09 15:07:51
256阅读
在hadoop中，分为单机模式，伪分布式，和完全分布式。而伪分布式在1.X中就是类似JobTracker和TaskTracker都在一台机器上运行，在2.X中，就是NameNode和DataNode在一台机器上，而并没有实现多台机器来进行真正的分布式计算。一、Linux环境的准备 首先说一下VMware的三种工作模式桥接（bridge）、NAT（网络地址转换）和host-only（主机模式）。参
转载
2023-08-29 22:18:44
63阅读
目录一、前言二、安装及配置虚拟机1、在个人计算机上安装及配置Linux虚拟机2、使用Xshell工具通过远程访问的方式对虚拟机进行管理3、配置本地YUM源并在线安装常用的软件包三、搭建Hadoop伪分布式集群1、配置免密登录2、HDFS的相关配置3、YARN的相关配置 4、Web端访问 一、前言秉承着学习的态度去写下我在学习Hadoop的一些心得，若有不足之处，还请各位多多包涵
转载
2024-01-31 22:02:27
211阅读
所需条件：1.三台centos7-64虚拟机（请使用单独的“4G内存2CPU三台虚拟机”环境。（一台master主机，两台slave主机，分别为slave1，slave2）2.Java安装包版本：jdk-8u161-linux-x64.tar.gz（旧版本）3.hadoop安装包版本：hadoop-2.7.3.tar.gz（旧版本）注：若电脑上有xftp，连接虚拟机将安装包拖到虚拟机里，安装包到A
转载
2024-08-02 13:14:23
63阅读
文章目录前言准备伪分布式特点JDK 下载和环境配置配置虚拟机网络环境配置Hadoop的环境下载Hadoop上传并解压安装配置Hadoop环境变量修改hadoop配置文件配置hadoop用户免密登录启动Hadoop格式化hdfs文件系统启动hdfs启动yarn启动JobHistory Server（MR）前言准备Win10上通过VMware12 + Centos7准备好了基本环境，配置虚拟机的子网I
转载
2023-06-30 14:36:28
156阅读
简述了自己搭建Hadoop伪分布式的过程，方便以后查看参考。
环境：Vmware10+RedHat6.3+hadoop2.2.0+JDK1.7
Hadoop模式：
本地模式：只能其一个reduce和一个map，用于调试
伪分布式模式：通过一台机器模拟分布式，在学习时使用。验证逻辑是否正确
集群模式：工作的模
转载
2024-02-05 10:30:39
54阅读
Hadoop是Apache的一个开源框架，用于分布式存储以及在商用硬件上运行的计算机集群上的大数据的分布式处理。 Hadoop将数据存储在Hadoop分布式文件系统（HDFS）中，并使用MapReduce完成这些数据的处理。 YARN提供用于在Hadoop集群中请求和分配资源的API。Apache Hadoop框架由以下模块组成：Hadoop CommonHadoop Distributed Fi
转载
2023-07-12 11:18:29
27阅读
