虚拟机的安装https://www.bilibili.com/read/cv7450678Centos系统安装https://www.bilibili.com/read/cv7456817安装SecureCRT工具https://www.bilibili.com/read/cv7457324配置虚拟网络IPhttps://www.bilibili.com/read/cv7463717使用Secur
转载
2024-07-26 12:52:55
34阅读
现在，大数据这么火，笔者也忍不住想学了。21世纪是数据的竞争，那么大数据必然是一种趋势，提前了解hadoop也为自己今后的发展奠基一席一路。虽然说移动互联开发也非常火，但也离不开数据，因此，大家还等什么呢。 目前，hadoop已经到了2.x，并且1.x与2.x的差别还是挺大，感觉自己都快跟不上节奏了。学习任何技术，都得有始有终，最好了解它的前世今生。所以笔者打算从1.x开始学起，并选择1.2.1
转载
2023-09-01 10:45:03
414阅读
目录一. 概述1.1 Hadoop概述1.2 Hadoop优势1.3 Hadoop 组成（面试重点）1.3.1 HDFS 架构概述1.3.2 YARN 架构概述1.3.3 MapReduce 架构概述1.3.4 HDFS、YARN、MapReduce 三者关系1.4 大数据技术生态体系二. Hadoop 运行环境搭建（开发重点）2.1 模板虚拟机环境准备2.2 在 hadoop102 安装 JD
转载
2023-07-14 15:27:44
301阅读
hive的计算是通过什么实现的hive是搭建在Hadoop集群上的一个SQL引擎，它将SQL语句转化成了MapReduce程序在Hadoop上运行，所以hive的计算引擎是MapReduce，而hive的底层存储采用的是HDFSyarn和hive的关系因为hive的底层实现是MapReduce，所以确切的来说是yarn和MapReduce的关系，yarn可以作为MapReduce计算框架的资源调度
转载
2023-07-14 16:19:44
83阅读
在学习的Hadoop的的过程中，首先要做的就是建立一个Hadoop的的的集群。我在搭建的过程中，除了许多问题，然后不断的查找不断的百度，通过大量的实验。不知道废了多少组虚拟机终于成功了，下面就把我搭建的过程分享出来吧。1.下载的VMware，安装虚拟机我下载的是VMware12Pro，现在好像最新的是VMware14，你们也可以下载使用。下面直接给你们一条链接吧。下咱完成后点击安装就可
转载
2023-09-11 21:56:20
1267阅读
hadoop伪分布环境搭建实验心得
在进行Hadoop伪分布环境的搭建时，我们需要考虑不同的环境准备和配置细节。以下是基于我在搭建过程中的实验心得整理而成的实践指南。
## 环境准备
在开始搭建伪分布式Hadoop环境之前，需准备一些前置依赖，确保系统具备Hadoop运行所需的基本环境。以下是需要安装的前置依赖：
- **Java JDK**：Hadoop依赖Java运行环境
- **SS
# Hadoop实验心得
## 引言
Hadoop 是一个开源的分布式计算框架，被广泛用于大规模数据的存储和处理。本文将介绍Hadoop的基本概念和使用方法，并通过一个简单的例子演示Hadoop的使用。
## Hadoop概述
Hadoop由两个核心组件组成：Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。HDFS用于在集群中存储大规模数据，而MapR
原创
2023-09-11 03:57:48
318阅读
Hadoop安装笔记
1.本次安装的是hadoop集群环境，使用的是vmware虚拟机和centos等，安装步骤在博客内这篇文件中：
我使用同网段不同集群安装的虚拟机，保证每个虚拟机如图本机一样可以相互通信。
由于我安装了一次centos，所以其他机器的虚拟机是复制这个centos的，密码账号相同
1）安装ssh和sshd
sshd是centos中提供
转载
2023-08-09 09:22:06
180阅读
集群搭建在真实物理机上，为每台物理机安装Linux，这里选择的是CentOS 5.8的版本（实验室旧机器配置偏低），本人虽CS出身，现SE研一，但基础不咋地，在装Linux系统的过程中遇到诸多问题，解决起来也是一头雾水，比如在Linux磁盘分区，当初未考虑到hadoop集群用来处理大数据，分区大小完全按照普通的Linux学习机器分配，以至于后来下载大数据时磁盘空间不足（
转载
2024-04-19 17:25:05
114阅读
集群概念 计算机集群是一种计算机系统，通过一组松散继承的计算机软件或硬件连接连接起来高度紧密地协作完成计算工作。 集群系统中的单个计算机通常称为节点，通过局域网连接。 集群特点：1、效率高，通过多态计算机完成同一个工作。 2、高容错，两台或多台机内容、工作过程等完全一样，宕机一台其他机器继续工作。 Hadoop集群部署搭建步骤1、跟伪分布模式环境相同 更改主机名 设置Hosts 关闭防火墙 安装j
转载
2024-04-19 17:14:40
66阅读
1.实验目的（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的Java API。2. 实验平台（1）操作系统：Linux；（2）Hadoop版本：2.7.4 ；（3）JDK版本1.8；（4）Java IDE：eclipse 。3. 实验步骤（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任
转载
2023-10-17 12:35:59
298阅读
1该技术为了解决什么问题而来？2是什么？（1）允许集群服务器使用简单编程模型对大数据集进行分布式处理 (2)可扩展服务器（3）每台服务器都有本地的计算和存储资源（4）不依赖硬件，其代码库自身就能在应用层侦测并处理硬件故障（5）几乎完全模块化（6）数据处理框架和一个分布式数据存储文件系统(HDFS)（7）MapReduce真正完成数据处理任务的工具(NoSQL非关系型数据库)（8）Hiv
转载
2023-11-25 13:40:31
307阅读
# Hadoop开发环境搭建实验报告心得
随着大数据时代的到来，Hadoop作为一个开源的分布式计算框架，已经成为数据存储与处理的重要工具。在这个实验报告中，我将分享我在搭建Hadoop开发环境过程中的心得体会，并阐述如何利用Hadoop进行简单数据处理。
## 一、Hadoop简介
Hadoop是由Apache软件基金会开发的一个用于大数据处理的开源框架，其核心组件包括Hadoop Com
在这篇博文中，我将分享一下“Hadoop搭建伪分布式实验心得”，包括环境准备、分步指南、配置详解、验证测试、排错指南和扩展应用等内容，希望能为你在搭建 Hadoop 时提供一些帮助。
### 环境准备
在开始之前，我们需要安装一些前置依赖，包括 Java 和 Hadoop。下面是我们需要的环境准备步骤：
1. **安装 Java**
执行以下命令来安装 Java：
```bash
个人笔记之简化版Hadoop集群搭建1.准备工作首先确保节点之间相互免秘钥（我直接恢复到免秘钥的快照）然后下载喜欢的版本的安装包，一般版本选择双数版本的，因为双数吉利嘛，所以单数版本有时候只是软件公司自己测试没问题就放出来的版本，而双数版本是经过企业实际检验过后才发布的版本，有人趟过雷了所以可以稍微放心一点用。因为电脑不行，试过了开四台虚拟机有点危险，所以这次就搭个简化不规范版的集群，nameno
转载
2023-09-14 14:00:00
149阅读
生产环境Hadoop大集群完全分布式模式安装2013-3-7 安装环境操作平台：vmware2操作系统：Oracle Enterprise Linux 5.6软件版本：hadoop-0.22.0,jdk-6u18集群架构：3+ node，master node(hotel01),slave node(hotel02,hotel03…)主机名IP系统版本Hadoop nodehadoop进
转载
2024-02-01 13:44:21
89阅读
目录1 实验环境2 实验准备3 配置SSH免密登录4 Hadoop安装与配置 1 实验环境Oracle Linux 7.4JDK 1.8Hadoop 2.7.42 实验准备1.实验准备三台机器分别为master,slave1,slave2 2.单击master机器桌面中的konsole图标3 配置SSH免密登录1.编辑/etc/hosts文件,出现如下界面 [Command 001]：vim /
转载
2023-08-07 09:07:33
381阅读
# Hadoop实验部署心得
作为一名经验丰富的开发者，我来教会你如何实现"Hadoop实验部署"。下面是整个过程的流程以及每一步需要做的事情和相应的代码。
## 流程概述
在开始之前，我们需要明确整个流程的步骤。下表展示了Hadoop实验部署的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 准备环境 |
| 步骤2 | 下载和解压Hadoop |
| 步骤
原创
2023-08-17 08:21:56
128阅读
# Linux Hadoop实验心得
在现代大数据处理的领域中，Hadoop作为一个重要的开源框架，提供了强大的分布式存储和处理能力。通过近几个月的学习和实验，我对Hadoop的架构和使用有了更深刻的理解。在这篇文章中，我希望分享我在Linux上使用Hadoop的经验，结合代码示例，以及一些相关的状态图和旅行图，以便让更多的读者理解Hadoop的核心概念。
## 1. Hadoop的基础架构
Hadoop学习笔记 大数据之处理工具Hadoop概念Hadoop是一个能够对大量数据进行分布式处理的软件框架。够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序，但是
转载
2023-11-12 14:10:54
261阅读
