以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的，所以遇到的问题不多，自己没怎么思考，导致跟着官网再装了一个Hadoop-2.9.2（为了装Hbase2.2.0）时装了两天，现在把遇到过的问题记下来以免以后再犯。 首先，安装软件首先看官网教程。但官网的教程是很简单的，比如Hadoop的安装。默认会创建hadoop用户；给hadoop权限；所有都在hadoop用户下操作（不然会出错
转载
2023-07-31 17:31:38
364阅读
文章说明本文主要是记录我在安装单虚拟机伪分布式hadoop集群与HBase中遇到的一些问题与处理方式。 主要的安装步骤基于林子雨老师的大数据软件安装和基础编程。虚拟机我采用的虚拟机工具是VMware WorkStations，没有选用VirtualBox（这里与林子雨老师的教程不同） 下面是我的虚拟机配置： 需要说明的是网络配置没有用桥接（在多个虚拟机构建伪分布式或者真分布式的时候是需要桥接的，同
转载
2023-10-01 09:48:08
270阅读
本教程主要参考厦门大学林子雨老师的安装过程，使用VMware Workstation Pro、centos7，配置一个主节点（master)，两个从节点(slave01,slave02)的全分布式hadoop集群安装教程，主要记录一下本次实验完成过程，大家有疑问之处欢迎在留言区评论~在此奉上林子雨老师的原安装教程，本教程具体代码完全参考林老师的，重在流程，故不再赘述代码，大家在安装过程中若发现不确
转载
2024-07-26 12:57:37
114阅读
一、包管理工具及CentOS的yum1、包管理工具如何发现可以用的包包管理工具依赖一系列软件源，工具下载源的信息存储在配置文件中，其位置随某包管理工具不同而变化使用yum的RedHat/CentOS存储在：/etc/yum.repos.d使用apt-get的Debian/Ubuntu在：/etc/apt/apt.conf （额外的源采用*.list文件指定，存储在/etc/apt/sources.
转载
2024-08-02 14:35:08
39阅读
hadoop自动安装脚本 大数据老师说hadoop安装非常容易失败，我在安装过程中确实踩了不少坑，仅仅按照林子雨老师的教程可能会出问题。所以我总结了遇到的问题，写了一个自动安装脚本，直接能在ubuntu上装好伪分布式hadoop。 因为水平有限，如果在你的的电脑上不能正常安装也请见谅。sudo userdel -r hadoop命令可以删除新建的hadoop用户。 本脚本可以顺便装java，
转载
2023-09-06 22:22:59
67阅读
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 给力星
本教程由厦门大学数据库实验室 / 给力星出品，转载请注明。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。另外有Hado
转载
2024-08-02 13:21:26
69阅读
Hadoop安装安装环境本人开发用的电脑操作系统是ubuntu14.04 64位，因此本文讲述的是Hadoop在ubuntu14.0464bit系统下的安装，实际上Hadoop目前也只支持Linux系统。有人号称在Windows下成功安装了Hadoop，我是没有见过。新建用户首先要为Hadoop的安装创建一个新用户：sudouseradd -d /home/hadoop -m hadoop
sud
转载
2024-04-19 17:10:12
38阅读
1.首先打开一个全新的虚拟机系统,centos6.4版本如下图所示(同时打开终端):2.然后第一步创建hadoop用户(并且给用户设置密码):3.给hadoop用户添加权限:输入visudo进入,然后找到下图位置，添加下图画红色线的内容，然后保存并退出4.然后切换Hadoop用户登陆5.使用 hadoop 用户登录后，还需要安装几个软件才能安装 Hadoop。所以先要给虚拟机配置网络。连接网络后，
转载
2024-04-19 17:52:10
427阅读
一、集群环境及安装： 1.1 集群环境- 系统： Ubuntu Kylin 14.04 LTS- Hadoop版本：Apache Hadoop-2.6.0 节点类型网络地址机器名配置信息Master192.168.0.100masterCPU：4核，内存：8GBackup&Slave192.168.0.99backupCP
转载
2023-11-29 20:20:43
365阅读
# Ubuntu 上安装 Hadoop 的完整教程
在当前大数据时代，Hadoop 作为一种常用的分布式存储和处理框架，被越来越多的开发者和企业采用。在本篇文章中，我将带你一步步在 Ubuntu 系统上安装 Hadoop。我们将以简单易懂的方式来讲解整个过程，使得即使是新手也能轻松跟上。
## 安装流程
为了让你清晰地了解整个安装过程，以下是我们将进行的步骤表：
| 步骤 | 描述
1.在每台linux节点上安装好jdk，最好把ant一并装了，装的目录最好一致，然后统一配好java所需要的环境变量，例如：
a) $export JAVA_HOME=/usr/java/jdk1.6.0_16
b) $export ANT_HOME=/usr/ant/ant-1.7.0
c) $export JRE_HOME=/usr/jav
转载
2024-07-28 12:05:19
38阅读
# 林子雨与Hadoop的奇妙旅行
在大数据时代，“林子雨”和“Hadoop”这两个词汇逐渐走入我们的视野。林子雨作为一个数据科学爱好者，借助Hadoop这个强大的工具，探索大数据的无穷奥秘。本文将介绍Hadoop的基本概念，并通过代码示例展示其使用方法。
## 什么是Hadoop？
Hadoop是一个开源的分布式计算框架，主要用于大规模数据存储和处理。它的核心组件包括Hadoop分布式文件
原创
2024-08-25 07:32:51
43阅读
Hadoop是基于Java语言开发的，具有很好跨平台的特性。Hadoop的所要求系统环境适用于Windows，Linux，Mac系统，我们推荐选择使用Linux或Mac系统。Mac系统存在于苹果电脑上，由于Mac系统对硬件有定制化要求，没法在Windows上使用虚拟机和双系统来使用Mac系统,我们下面也会给出Mac系统安装Hadoop的相关教程。而Linux系统则可以在Windows上使用虚拟机或
转载
2023-07-25 00:17:46
5阅读
一、实验目的（1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法；（2）熟悉 HDFS 的基本使用方法；（3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。二、实验平台操作系统：Ubuntu16.04；Spark 版本：2.1.0；Hadoop 版本：2.7.1。三、实验内容和要求1．安装 Hadoop 和 Spark进入 Linux 系统，参照本教程官网“实
转载
2023-08-01 21:52:34
74阅读
本文主要参考林子雨老师的教程，以下是参考源：2.3.2 Hadoop的安装与使用详解_哔哩哔哩_bilibili本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。Hadoop安装前置知识现在比较常见的Linux系统安装方式是选择虚拟机安装，在安装前进行方法调研的时候笔者发现：近三年几乎所有方法都是基于虚拟机安装的。而林子雨老师视频
转载
2023-07-29 14:59:04
98阅读
云计算于大数据入门 —— 环境安装本教程采用厦门大学数据库实验室的林子雨老师的同等开发环境： 所需软件及环境所有文件整合的安装包我会放在文末本案例所涉及的系统及软件Linux系统(Ubuntu16.04或14.04或18.04)，这里使用 Ubuntu 20.04.5 LTS 系统进行安装MySQL(版本无要求)，这里使用清华大学镜像源中的默认版本Hadoop(2.7.1或2.7.3，
转载
2023-07-24 10:55:41
244阅读
Windows10下Linux子系统Ubuntu的JDK环境、Hadoop环境配置以及Scala安装中出现的问题 安装前提： 平台：Windows10电脑，预先下载好的Ubuntu子系统，不会下载的见教程：Windows10使用Linux子系统 这里我使用的是Ubuntu18.04.2我们要开始学习大数据的相关内容，老师要求我们自行安装好Linux系统下的Scala软件并且配置好它所需要的JDK
转载
2023-09-22 12:57:36
55阅读
以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的，所以遇到的问题不多，自己没怎么思考，导致跟着官网再装了一个Hadoop-2.9.2(为了装Hbase2.2.0)时装了两天，现在把遇到过的问题记下来以免以后再犯。首先，安装软件首先看官网教程。但官网的教程是很简单的，比如Hadoop的安装。默认会创建hadoop用户；给hadoop权限；所有都在hadoop用户下操作(不然会出错)；会更
转载
2023-08-04 10:32:14
65阅读
目录前言一、修改配置文件1. 配置 .bashrc 文件2. 配置伪分布式二、初始化文件系统三、验证安装1. 启动HDFS 2. 部分报错总结 前言 Hadoop 的伪分布式安装需要建立在 Hadoop 的单机安装之上 Java 版本为1.8.0_301，Hadoop 版本为3.3.1
转载
2023-08-18 19:46:49
87阅读
指导手册02：伪分布式安装Hadoop(ubuntuLinux)Part 1:安装及配置虚拟机1.安装Linux.1.安装Ubuntu1604 64位系统2.设置语言，能输入中文3.创建hadoop账户sudo useradd -m hadoop -s /bin/bashsudo passwd hadoop//输入2遍密码sudo adduser hadoop sudo #
