胖虎的Hadoop笔记——Hadoop的伪分布式部署本博客用于Hadoop大数据企业课笔记记录。第三步一、VMware安装和创建虚拟机1.VMware安装安装包下载：https://pan.baidu.com/s/16T72wWtK3zMbAdyfavNGDA 提取码：on8c2.创建虚拟机（CentOS7）下载镜像文件：https://pan.baidu.com/s/16T72wWtK3zMbA
转载
2023-07-24 13:19:01
163阅读
Hadoop安装搭建伪分布式教程（全面）吐血整理1、安装下载虚拟机VMware2、下载Ubuntu18.04镜像文件，并在VMware中添加虚拟机。3、Hadoop伪分布式搭建3.1 创建hadoop用户，并更新ubuntu系统中相应软件，安装vim编辑器3.1.1 创建hadoop账户3.1.2 更新命令3.2 配置SSH，并设置无密码登录3.2.1 下载SSH3.2.2 设置无密码登录3.3
转载
2023-08-07 21:45:40
48阅读
1. Hive mysql的metastore安装准备 把hive-0.12.0.tar.gz解压到/zzy/ # tar -zxvf hive-0.12.0.tar.gz -C /zzy (-C 指定解包后的路径) 修改/etc/profile文件，将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/jdk1.7...
原创
2021-07-29 10:45:38
264阅读
今天搭建伪分布式集群，遇到了一些问题：1、在启动namenode以后，jps提示command not found。export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/too
转载
2024-07-18 06:42:23
21阅读
Hadoop生态圈是大数据行业内比较常用的离线数据处理技术，而Hadoop的安装模式又分三种、分别是单机模式、伪分布式和集群模式。伪分布式主要是用于开发人员测试，集群模式才是生产环境上配置的。那么、今天就说一下Hadoop的伪分布式安装搭建。1、环境准备：虚拟机系统:Centos-7JDK:JDK1.8.0_171。关闭防火墙、配置好机器静态IP。2、下载：http://hadoop.apache
转载
2023-09-25 20:09:19
88阅读
1、下载Hadoop安装包首先在Apache Hadoop官网下载对应的Hadoop安装包，我们这里以Hadoop-3.3.0为例；下载地址：https://archive.apache.org/dist/hadoop/common/ 找到hadoop-3.3.0.tar.gz下载下来即可；2、配置基础环境在正式安装Hadoop之前，我们还需要配置一些基础环境：（1）设置静态ip（2）设
转载
2023-07-24 13:21:02
105阅读
Ubuntu安装Hadoop2进行单机和伪分布配置---------------------------------------------------单机配置（Local Standalone Mode）:官方说法：Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。伪分布配置（Pseudo-Distributed Mode）:官方说法：H
转载
2024-08-22 11:45:59
90阅读
最近在学习hadoop，自己下了个视频教程，他的教学版本是hadoop0.20.2版本，现在的最新版本都到了3.0了，版本虽然有点老，但是还是学了一下，觉得有借鉴的价值。不废话了，开始介绍：先说一下环境：ubuntu14.04，其中要装上ssh open-server服务，装上jdk环境。伪分布式模式安装和配置步骤如下图：详细步骤1 首先把文件导入linux系统（我用的ubuntu虚拟机，hado
转载
2023-09-06 10:01:31
39阅读
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:接下来是hadoop伪分布搭建的要准备东西： jdk1.8.0_221 hadoop-2.7.7 我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7W
转载
2023-09-14 13:10:30
119阅读
总是要学点什么是吧，Java学大数据据说很快，就从这面入手了，正好项目在使用可以get一项新技能了，距离全栈工程师又进了一步不是么？#Hadoop安装(伪集群)######此处不介绍Hadoop和其他组件的说明，详细请百度注意你们的主机名，千万不要用中文，虽然不影响，看网上的各种文章有的是需要改机器名的。安装JAVA环境变量（不介绍了）我用的是Ubuntu Mint，默认安装了SHH clien
转载
2023-07-21 13:52:32
63阅读
一.环境准备 阿里云ECS(Centos7).已预装JDK8 Hadoop安装包 hadoop-2.7.7.tar.gz二. 安装步骤 1.确认JDK环境的安装位置 命令 echo $JAVA_HOME 2.解压hadoop-2.7.7.tar.gz 文件夹到指定目录(目录可以自己定义) 命令 tar -zxvf hadoop-2.7.7.tar.gz -C /opt/mod
转载
2023-07-20 23:32:57
38阅读
使用工具①centos6.5②jdk1.8③Hadoop2.7.1【*】虚拟机使用Linux作为操作系统，这也是在生产情况下运行Hadoop的唯一指定操作系统。由于HDFS依赖于Hadoop，Hadoop依赖于Java。所以需要进行Hadoop的安装和jdk的安装。Hadoop的安装非常简单，大家可以去官网上下载到最新的几个版本。在安装Hadoop程序之前，需要安装两个程序，JDK和SSH（安全外
转载
2023-08-18 13:27:02
85阅读
一.hadoop伪分布安装步骤如下安装环境：centOS6.5 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 设置主机名 执行命令&n
转载
2023-11-03 19:22:24
57阅读
一、安装前的准备，jdk-8u66-linux-x64.tar.gz(建分布式的时候会需要)、hadoop-2.6.0-x64.tar.gz二、进入root用户，ifconfig 查看本机ip，牢记本机ip地址；安装伪分布式的时候可以直接输入yum -y install java* 即可自动下载安装并且配置好环境变量，java -version但是在最后启动hadoop的时候一定不能忘记修改JAV
转载
2023-07-25 18:44:34
106阅读
(因为我也是新手，所以基本上是借鉴前辈，慢慢摸索的，在文章中可能会有许多不详尽的地方，还请谅解)一 部署方式（1） Hadoop安装方式1.传统解压包方式2.Linux标准方式（2）Hadoop工作环境构建方式1.单机模式不需要与其他节点交互，因此不需要使用HDFS，直接读写本地的文件系统，主要用于开发调试MapReduce程序的应用逻辑。2.伪分布模式单机运行，用不同进程模仿分布式运行
转载
2023-08-18 08:28:25
81阅读
安装环境：系统：Ubuntu 14.10 64bithadoop：2.5.1 jdk：1.8.0_11安装步骤：一.安装JDK安装 jdk，并且配置环境以及设置成默认sudo gedit /etc/profile
添加
export JAVA_HOME=/opt/java
export JRE_HOME=/opt/java/jre
export CLASSPA
转载
2023-11-08 13:56:33
42阅读
先决条件
安装jre1.6 rpm包 http://www.java.com/zh_CN/download/manual.jsp
chmod u+x jre-6u21-linux-i586-rpm.bin
./jre-6u21-linux-i586-rpm.bin
设置密钥登录不然每次启动时都要输入密码
$ ssh-keygen -t dsa
原创
2010-08-22 11:29:25
683阅读
接触Hadoop也快两年了，也一直没自己总结过安装教程，最近又要用hadoop，需要自己搭建一个集群来进行试验，所以就利用这个机会来写个教程以备以后自己使用，也用来和大家一起探讨。要安装Hadoop先安装其辅助环境 javaUbuntu下java的安装与配置将java安装在指定路径方便以后查找使用。Java安装1）在/home/xx（也就是当前用户）目录下，新建java1.xx文件夹：mkdir
原创
2014-04-12 09:37:16
883阅读
hadoop 2.6.0伪分布安装
转载
2015-05-05 18:14:00
115阅读
2评论
1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令 chkconfig ipt
原创
2015-05-16 17:06:48
134阅读
