hive的计算是通过什么实现的hive是搭建在Hadoop集群上的一个SQL引擎，它将SQL语句转化成了MapReduce程序在Hadoop上运行，所以hive的计算引擎是MapReduce，而hive的底层存储采用的是HDFSyarn和hive的关系因为hive的底层实现是MapReduce，所以确切的来说是yarn和MapReduce的关系，yarn可以作为MapReduce计算框架的资源调度
转载
2023-07-14 16:19:44
83阅读
# Hadoop实验心得
## 引言
Hadoop 是一个开源的分布式计算框架，被广泛用于大规模数据的存储和处理。本文将介绍Hadoop的基本概念和使用方法，并通过一个简单的例子演示Hadoop的使用。
## Hadoop概述
Hadoop由两个核心组件组成：Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。HDFS用于在集群中存储大规模数据，而MapR
原创
2023-09-11 03:57:48
318阅读
目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSome conceptsMapReduce主要配置文件集群搭建来源与引用 Hadoop分布式计算实验踩坑实录及小结踩坑实录单机jdk配置Ubuntu下安装jdk11，不熟悉apt-get的默认目录及目录配置，直接在Oracle找了Linux的压缩包在虚拟机上解压，解压到指定目录后配一下java环境变量。
转载
2024-04-13 09:54:36
23阅读
文章目录一、Hadoop 组成Hadoop1.x 、2.x 、3.x 的区别HDFS架构概述MapReduce架构概述YARN架构概述二、常用端口号三、常用的配置文件四、HDFSHDFS文件块大小HDFS的Shell操作HDFS的读写流程HDFS的写数据流程HDFS的读数据流程五、MapReduceMapReduce工作流程shuffle机制六、YarnYarn工作机制Yarn调度器
转载
2023-09-12 19:53:17
636阅读
首先是来说一下这两天来自己的个人感受吧。我争取在第一段将情怀给逼逼完，大家可以无视这一段~~~真心是不容易，第一个感觉就是，乱。为啥呢？先说说我使用Hadoop的原因吧。选了云计算这门课，打算到时候深入研究大数据，也就要好好学咯。第一个学生研究课题是Hadoop环境搭建，据说是从选软件（也就是第一个：CentOs操作系统，第二个：jdk和第三个：Hadoop版本）到配置好环境并且能够测试通所有的东
转载
2024-08-02 13:25:43
42阅读
HDFS总结目录 &nb
转载
2023-08-01 13:06:45
163阅读
众所周知，我们已经进入大数据的时候，一个公司积累的大数据对于一个公司的经营和发展是一笔巨大的财富，如何让这笔财富充分体现它的价值就需要专业的挖掘和分析技术，hadoop应运而生，hadoop作为一个专业的数据分析技术散发着勃勃生机。我们作为一个技术人员对这种新兴的技术进行狂热的追逐。我作为一个有三四年java开发经验的开发工程师也不想错过这股技术潮流，希望
转载
2023-07-12 15:23:22
93阅读
Spark学期心得总结 学习了spark之后我才知道Hadoop和spark还有着这种缘分：Hadoop 是由Java语言编写的，部署在分布式服务器集群上，用于存储海量数据并运行分布式分析应用的开源框架；其重要组件有，HDFS 分布式文件系统、MapReduce 编程
转载
2023-10-06 23:47:34
62阅读
安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些之前的笔记!http://pan.baidu.com/s/1gdKdEcb吃水不忘挖井人，hadoop集群配置相关内容很多都参考了吴超的博客，这里把
转载
2024-06-12 00:19:29
61阅读
背景公司的物流业务系统目前实现了使用storm集群进行过门事件的实时计算处理，但是还有一个需求，我们需要存储每个标签上传的每条明细数据，然后进行定期的标签报表统计，这个是目前的实时计算框架无法满足的，需要考虑离线存储和计算引擎。标签的数据量是巨大的，此时存储在mysql中是不合适的，所以我们考虑了分布式存储系统HDFS。目前考虑的架构是，把每条明细数据存储到HDFS中，利用Hive或者其他类SQL
转载
2023-08-03 14:28:58
55阅读
# Hadoop实验部署心得
作为一名经验丰富的开发者，我来教会你如何实现"Hadoop实验部署"。下面是整个过程的流程以及每一步需要做的事情和相应的代码。
## 流程概述
在开始之前，我们需要明确整个流程的步骤。下表展示了Hadoop实验部署的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 准备环境 |
| 步骤2 | 下载和解压Hadoop |
| 步骤
原创
2023-08-17 08:21:56
128阅读
# Linux Hadoop实验心得
在现代大数据处理的领域中，Hadoop作为一个重要的开源框架，提供了强大的分布式存储和处理能力。通过近几个月的学习和实验，我对Hadoop的架构和使用有了更深刻的理解。在这篇文章中，我希望分享我在Linux上使用Hadoop的经验，结合代码示例，以及一些相关的状态图和旅行图，以便让更多的读者理解Hadoop的核心概念。
## 1. Hadoop的基础架构
# Hadoop实训心得
## 引言
作为一名经验丰富的开发者，我将向你介绍如何实现"Hadoop实训心得"这个任务。在本文中，我将为你展示整个实现过程，并提供每个步骤所需的代码，以及对代码的详细注释。
## 任务流程
下表展示了完成"Hadoop实训心得"任务的整个流程：
| 步骤 | 描述
原创
2023-07-20 17:13:11
103阅读
Hadoop 是一个分布式计算的基础架构，用户在不需要了解底层细节的情况下，开发分布式的应用。Hadoop 最重要的是实现了一个分布式的文件系统，这样的文件系统可以架构在价格低廉的集群之上。Hadoop 另外一个重要内容就是MapReduce，一种分布式任务处理的架构。这两个部分构成了Hadoop的基石，Hadoop在创新在于从以前的以应用为中心，转变为以数据为中心。以前是应用获取数据进行处理，
转载
2024-09-13 13:37:39
100阅读
# 大数据与Hadoop的心得
在现代信息技术迅猛发展的背景下，大数据技术逐渐成为各个行业关注的焦点。作为一个广泛使用的大数据处理框架，Apache Hadoop 决定了大数据处理的效率和便利性。在这篇文章中，我将分享一些关于 Hadoop 的心得，包括它的核心组件、一些常见的使用场景，以及代码示例，帮助初学者更好地理解和应用 Hadoop。
## Hadoop 概述
Hadoop 是一个大
# 构建Hadoop集群心得
近年来，以大数据为核心的技术越来越受到重视，Hadoop作为大数据处理的重要框架，其集群的搭建成为了许多数据工程师的重要任务。在本文中，我将分享我在构建Hadoop集群过程中遇到的一些心得体会以及简单的代码示例，助你更好地理解这一过程。
## Hadoop集群架构
Hadoop集群主要由以下几个组件组成：
- **NameNode**：负责管理文件系统元数据。
大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有CSDN:,感谢大家的支持,谢谢 送给大家一句话:今日事,今日毕本篇博客主要讲解:指标开发-用户订单指标业务开发目标:能够完成用户订单行为业务开发怎么理解分布式？分布式是将资源分布存储或者分布计算的统称,
转载
2024-10-12 12:34:02
45阅读
Hadoop学习心得
==================
## 引言
作为一名经验丰富的开发者，我很高兴有机会教会一位刚入行的小白如何实现“Hadoop学习心得”。Hadoop是一个非常强大的分布式计算框架，对于大数据处理非常有用。在本文中，我将向你介绍整个学习流程，并提供每个步骤所需的代码和解释。
## 学习流程
首先，让我们通过下面的表格来了解整个学习流程的步骤：
| 步骤 | 描述
原创
2023-12-29 08:22:10
40阅读
从开始知道需要安装Hadoop到现在Hadoop安装成功并可以使用，前前后后花费了好长时间，但是从中也吸取了很多教训，1.不要永远照抄别人的教程。这一点是我这近两天发现的，比如在所有的网上的教程，基本都是会指导你去安装一个Windows与Linux之间文件传输的工具起初我也是按照网上的教程，MobaXterm，这个软件就是那个传输工具，又在这个软件使用上花费了很大功夫，但是更具自己的理解，Linu
转载
2023-07-14 19:36:45
451阅读
1.实验目的（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的Java API。2. 实验平台（1）操作系统：Linux；（2）Hadoop版本：2.7.4 ；（3）JDK版本1.8；（4）Java IDE：eclipse 。3. 实验步骤（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任
转载
2023-10-17 12:35:59
298阅读
