Hadoop简介Hadoop是Apache旗下的一套开源分布式计算平台。 应用范围：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。 核心组件：HDFS（分布式文件系统）高容错性、高伸缩性等允许用户将Hadoop部署在低廉的硬件上YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）允许用户在不了解分布式系统细节情况下开发并行应用程序。准备Linux环境虚拟机克隆
转载
2023-09-01 10:09:50
132阅读
一、引言首先说明一下，本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样，那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。 本机的配置环境如下： Hadoop(3.1.1) Ubuntu Linux(64位系统)二、安装ssh服务ubuntu中默认是没有安装ssh server的，只有 ssh client,可以使用如下命令安装：
转载
2023-08-08 01:51:02
95阅读
在Linux系统上安装Hadoop是许多数据科学家和工程师的必备技能之一。Hadoop是一个开源的分布式存储和计算框架，被广泛应用于大数据处理领域。本文将介绍如何在Linux系统上安装Hadoop，帮助初学者快速入门。
第一步：准备工作
在开始安装Hadoop之前，我们需要确保系统已经安装了Java环境和SSH。Hadoop是基于Java开发的，因此Java环境是必不可少的。同时，Hadoop
原创
2024-05-15 10:03:26
98阅读
这篇文章讲述的是为装hadoop的准备工作，如有错误或不当之处，欢迎各位大神批评指教。一、准备工作1. 首先你需要掌握Linux系统的安装，并且保证网络连接正常，2. 其次你需要配置好一台可以上网的Linux，这里以centos6.5为例二 、配置Linux集群1. 将已配置好的Linux系统克隆两份a. 克隆已经配好的主机，在VMware中选择已装好的主机，在虚拟机菜单中选择管理，选择克隆。b.
转载
2023-11-21 20:19:23
44阅读
开始 linux平台下Hadoop下载、安装、配置第一步， 下载安装 maven 配置环境 变量2、下载maven安装包 wget wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz 3、解压缩maventar -zxvf a
转载
2024-07-22 09:38:32
46阅读
hadoop的安装与配置一：配置Linux免密登录，安装hadoop前要先配置Java 环境变量，点我的主页有详细的配置步骤，这里就不做详细的讲解。 二：下载地址为：链接https://hadoop.apache.org/. 一： 注意：不推荐下载太高版本①：关闭防火墙–永久关闭 三台都要操作，关闭防火墙为了后续登录50070端口systemctl stop firewalld
systemctl
转载
2023-07-12 11:22:35
91阅读
一 、安装Ubuntu安装Ubuntu的过程中还是很顺利的，基本上按照文中的步骤，很轻松就安装成功了。这里就不过多赘述了，不过应该记住自己安装的是X86还是X64，不然等会儿安装jdk的时候就会吃很多苦头。如果记不清了，可以使用uname -m命令查看linux版本。二、安装jdk 1. 搞错jdk版本，导致安装jdk后无法识别。我的Ubuntu是x64，结果我下载的是X86
一：下载hadoop二：将hadoop压缩包从windows路径下转移到Linux下三：配置hadoop的环境变量 1：将Linux下的hadoop压缩包放在你想要放的目录下，然后进行解压 2：安装java并配置java环境变量  
转载
2023-09-06 09:17:10
325阅读
一、搭建思路1. 拥有配置好的Linux操作系统 2. 将hadoop2.7.2.tar.gz 和jdk1.8.0_144.tar.gz 3. 配置jdk和hadoop的环境变量 4. 配置hadoop的相关配置 5. 启动并且访问web页面6.安装遇到的问题和解决方法在本篇文章结尾处说明二、环境说明1. 物理机win10系统2. 虚拟机LinuxCentOS6.103. Hadoop版本 had
转载
2023-06-25 12:33:24
177阅读
一、hadoop2.0安装部署流程 1、自动安装部署：Ambari、Minos（小米）、Cloudera Manager（收费） 2、使用RPM包安装部署：Apache hadoop不支持、HDP与CDH提供
转载
2023-09-14 13:23:33
153阅读
上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs.sh;sh start-yarn.sh 二、浏览器中查看dfs中的文件目录（此时文件为空），对应的到h
转载
2023-09-26 15:52:04
70阅读
大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关：HDFS的基本操作任务描述本关任务：使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/outp
转载
2023-08-09 20:52:42
349阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载
2023-05-22 09:12:06
186阅读
任务一：虚拟机安装任务二：Linux系统安装Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建、验证。任务一：虚拟机安装（1）VMware Workstation（本课程使用该软件）：https://pan.baidu.com/s/1izck7kVLcPS
转载
2023-07-19 13:23:13
119阅读
目录一.安装jdk1.8二.hadoop集群搭建1.准备事项2.修改系统主机名及hosts3.下载安装包并解压4.修改配置文件5.配置免密登录6.启动集群7.访问：安装hadoop新版本遇到好几个坑，查阅的资料有的说明不是很准确，所以记录下这次的安装过程，希望可以帮助大家节约时间。谨记一点：遇到问题首先看日志一.安装jdk1.8此处省略过程，请自行查询比如java安装目录：/opt/jdk/ope
转载
2023-09-14 08:27:59
52阅读
1、安装JDK
（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK
sudo apt-get install sun-java6-jdk
（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容
export JAVA_HOME = （Java安装目录）
export CLASSPAT
转载
2024-07-12 11:46:52
36阅读
# Hadoop搭建Linux环境准备详细教程
Hadoop是一个开源框架，用于处理大规模数据集。为了在Linux环境中搭建Hadoop，首先需要做好环境准备工作。本文将详细介绍如何在Linux上搭建Hadoop，包括必要的软件安装、配置文件设置等步骤。
## 一、环境准备
### 1.1 硬件要求
为了顺利运行Hadoop，您的系统应具备以下最低硬件配置：
- CPU：双核及以上
- 内
hadoop安装路径：/usr/local/src集群的三台linux主机（主机配置是本博客的所使用的）master：192.168.139.10 slave1：192.168.139.11 slave2：192.168.139.12首先，安装包可以本地下载好，通过与linux共享文件 ，将其拷贝到linux主机内，或者通过 Xftp 6 工具，将其传送到linux主机内，总之方法多种多
转载
2024-03-18 14:57:06
40阅读
第三章、Hadoop基础操作目录结构：1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 &nbs
转载
2023-07-28 18:39:31
393阅读
Linux安装一、 安装VMware如果有需要，可自取 链接: https://pan.baidu.com/s/1fJLJBEeVtWynzzpQYvDFEg 提取码: bmc2 （用管理员身份打开，可避免不必要的报错）二、 新建虚拟机1、点击创建新的虚拟机2、这里我们新建虚拟机的时候可选择自定义，后面方便我们配置点击下一步3、选择虚拟机硬件兼容性（这里默认，可自行选择）点击下一步4、选择稍后安装
