1. 环境说明搭建在vmware workstation上的虚拟机主机名：node2IP：10.0.0.53（在 /etc/hosts 中添加主机和ip的映射关系）软件版本信息：ubuntu 18.04，jdk 1.8，Hadoop 3.2.22. 前置配置内容1）关闭防火墙sudo ufw status # 检查防火墙状态
sudo ufw disable # 停止防火墙2）安装启动
原创
2021-04-22 00:12:14
421阅读
CentOS 7 上进行hadoop伪分布式搭建一、环境搭建1.安装所需环境2.关闭selinux，打开防火墙对50070端口的访问二、主机配置1.设置主机名2.设置 host 列表三、JAVA安装1.下载java安装包2.安装java3.配置 java 环境变量/etc/profile4.校验 java 安装成功四、hadoop 安装1.下载hadoop安装包2.解压 hadoop3.修改环境
转载
2023-09-14 13:17:36
378阅读
一． 安装JDK,配置环境JAVA环境变量exportJAVA_HOME=/home/jdk1.6.0_27exportJRE_HOME=/home/jdk1.6.0_27/jreexportANT_HOME=/home/apache-ant-1.8.2export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH二．&n
原创
2015-05-06 16:14:36
2118阅读
1. 安装Hadoop到/home/xsj/hadoop：$ tar -zxvf hadoop-0.20.2.tar.gz 2. 创建目录：$ mkdir /home/xsj/hadoop/hadoop-0.20.2/hadooptmp$ mkdir /home/xsj/hadoop/hadoop-0.20.2/hdfs/data$ mkdir /home/xsj/hadoop/hadoop-0.
原创
2023-06-05 13:34:45
44阅读
HBase简介HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。 HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。 单机模式：在一台计算机上安装和使用H
转载
2023-07-12 19:52:21
212阅读
一、本文说明： 本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机器。 环境说明
转载
2023-07-25 18:35:49
149阅读
目录1.安装JDK2.安装Hadoop3.文件配置4.启动集群5.查看集群 在开始Hadoop伪分布式环境搭建之前，需要完成这些准备工作。1.安装JDK 安装JDK之前,需要卸载系统中自带的JDK。[root@master ~]# java -version
openjdk version "1.8.0_131"
Open
转载
2023-09-20 12:02:24
98阅读
1、Hadoop有三种配置模式，分别为独立模式、伪分布式模式、分布式模式。 独立模式：即本地模式，该模式没有运行的守护程序，所有的程序运行在一个jvm中。适合开发期间运行MapReduce程序，源于他的易于测试和调试。 伪分布式模式：守护程序运行在本地主机，模拟一个小规模集群。 分布式模式：守护程序运行在多个主机的集群上。 2、安装SSH、配置SSH无密码登陆。 在伪分布式模式下，必须启
转载
2023-08-18 08:38:08
54阅读
安装单机模式的hadoop无须配置，在这种方式下，hadoop被认为是一个单独的java进程，这种方式经常用来调试。所以我们讲下伪分布式安装hadoop.我们继续上一章继续讲解，安装完先试试SSH装上没有,敲命令,注意：这个安装是hadoop伪分布式的安装，配置集群我在后面讲！！！！！！！！ls -a如果没有ssh,输入命令ssh 查看ssh loc
转载
2023-07-20 19:25:48
120阅读
Hadoop 伪分布式的搭建（六）——Hadoop伪分布式集群的安装配置前面的基本环境准备完成之后，接下来就开始安装hadoop伪分布式环境，在这里选择安装Hadoop2.7.3版本，大家可以到官网或者其他的资源下载网站下载文件hadoop-2.7.3.tar.gz的安装包。使用远程传输工具，将下载好的安装包上传到/home/hadoop/app/目录下，具体的操作如下： 使用解压命令：“tar
转载
2023-06-30 14:35:09
65阅读
目录：1、配置前的说明 2、环境说明 3、修改主机名 4、SSH无密码验证配置 5、创建Hadoop用户 6、生成SSH密钥 7、JDK配置 8、Hadoop安装配置 安装Hadoop 配置环境变量 配置master和slave &nbs
转载
2023-07-21 13:52:23
131阅读
一、前提（1）环境：Ubuntu 16.04 （2）需要软件：JDK 1.8 和 Hadoop-2.8.0二、安装JDK安装的详细过程参见博文：博文链接三、安装Hadoop下载地址：http://hadoop.apache.org/releases.html我选的是hadoop 2.8.0，选择binary版本。（source是源码，如果在工作中需要修改源码之后再运行，则可以选择source），
转载
2023-07-24 13:26:09
142阅读
最近刚自己又分别搭了一次Hadoop的两个环境，主要是给想学习Hadoop刚开始的环境搭建以及遇到的一些问题。因为刚开始自己Hadoop也是自学的所以遇上了很多问题，这次比较顺利，Hadoop学习的基础肯定是java和Linux，下面我就从伪分布式开始说一下其中的步骤和遇上的问题。其中虚拟机用的是Centos 6的版本，这个用起来比较方便，建议用mini版
转载
2023-07-09 14:43:50
148阅读
1、下载Hadoop安装包首先在Apache Hadoop官网下载对应的Hadoop安装包，我们这里以Hadoop-3.3.0为例；下载地址：https://archive.apache.org/dist/hadoop/common/ 找到hadoop-3.3.0.tar.gz下载下来即可；2、配置基础环境在正式安装Hadoop之前，我们还需要配置一些基础环境：（1）设置静态ip（2）设
转载
2023-07-24 13:21:02
105阅读
Hadoop生态圈是大数据行业内比较常用的离线数据处理技术，而Hadoop的安装模式又分三种、分别是单机模式、伪分布式和集群模式。伪分布式主要是用于开发人员测试，集群模式才是生产环境上配置的。那么、今天就说一下Hadoop的伪分布式安装搭建。1、环境准备：虚拟机系统:Centos-7JDK:JDK1.8.0_171。关闭防火墙、配置好机器静态IP。2、下载：http://hadoop.apache
转载
2023-09-25 20:09:19
88阅读
最近在学习hadoop，自己下了个视频教程，他的教学版本是hadoop0.20.2版本，现在的最新版本都到了3.0了，版本虽然有点老，但是还是学了一下，觉得有借鉴的价值。不废话了，开始介绍：先说一下环境：ubuntu14.04，其中要装上ssh open-server服务，装上jdk环境。伪分布式模式安装和配置步骤如下图：详细步骤1 首先把文件导入linux系统（我用的ubuntu虚拟机，hado
转载
2023-09-06 10:01:31
39阅读
伪分布式模式也是在一台单机上运行，集群中的结点由一个NameNode和若干个DataNode组，另有一个SecondaryNameNode作为NameNode的备份。一个机器上，既当namenode，又当datanode,或者说既是jobtracker，又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行
转载
2023-07-24 09:29:30
295阅读
hadoop伪分区式的安装过程
原创
2018-05-05 20:33:21
760阅读
点赞
Hadoop伪分布式安装安装环境：Centos7.5，只少2核4G提前准备：Linux中要安装JDK8，Zookeeper-3.5.71. 关闭防火墙 systemctl stop firewalld systemctl disable firewalld2. 修改主机名 Hadoop集群中，主机名中尽量不要出现-或者_ vim /etc/hostname 将原来的主机名删除，添加自己指定的主机名
原创
2023-06-01 21:43:34
109阅读
Hadoop伪分布式安装安装环境：Centos7.5，只少2核4G提前准备：Linux中要安装JDK8，Zookeeper-3.5.71. 关闭防火墙systemctl stop firewalldsystemctl disable firewalld2. 修改主机名Hadoop集群中，主机名中尽量不要出现-或者_vim /etc/hostname将原来的主机名删除，添加自己指定的主机名3. 需要
原创
2023-06-01 21:44:18
169阅读
