Hadoop的优缺点 Hadoop的优点 1、高可用性：Hadoop底层维护多个数据副本，如果Hadoop某个计算元素或存储出现故障，也不会导致数据丢失 2、高扩展性：在集群间分配任务数据，可方便扩展数以千记的节点 3、高效性：在MapReduce的思想下，Hadoop是并行工作，以加快任务处理的速 ...
转载
2021-09-15 16:32:00
161阅读
2评论
一、Hadoop是什么？Hadoop是一个Apache基金会所开发的分布式系统基础架构。在工业界，Hadoop已经是公认的大数据通用存储和分析平台，它实现了分布式文件系统HDFS（ Hadoop Distributed File System）、分布式运行程序编程框架MapReduce以及资源管理系统YARN（ Yet Another Resource Negotiator），其中HDF
推荐
原创
2022-09-02 20:13:59
2110阅读
点赞
# Hadoop总结
## 引言
在大数据时代，数据的处理和分析变得越来越重要。Hadoop作为一个开源的分布式数据处理框架，被广泛应用于大数据处理和分析领域。本文将对Hadoop进行总结，介绍Hadoop的特点、使用场景以及核心组件，并给出相关示例代码。
## Hadoop的特点
Hadoop具有以下几个重要的特点：
1. **可靠性**：Hadoop使用分布式存储和计算，能够处理硬件
原创
2023-08-29 14:18:38
35阅读
Hadoop 学习总结之一：HDFS简介Hadoop学习总结之二：HDFS读写过程解析Hadoop学习总结之三：Map-Reduce入门Hadoop学习总结之四：Map-Reduce的过程解析 在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以
转载
2023-07-21 22:23:05
437阅读
在Hadoop中一个作业被提交后，其后具体的执行流程要经历Map任务的提交中间结果处理，Reduce任务的分配和执行直至完成这些过程，下面就是MapReduce中作业详细的执行流程图（摘自《Hadoop实战》）。 在整个过程中，客户端中，编写MapReduce代码，配置并提交作业；JobTracker中负责初始化作业，分配作业，与TaskTracker进行通信，协
转载
2023-08-11 12:10:59
134阅读
Hadoop 原理总结一、Hadoop技术原理Hdfs主要模块：NameNode、DataNodeYarn主要模块：ResourceManager、NodeManager常用命令：1）用hadoop fs 操作hdfs网盘,使用Uri的格式访问（URI格式：secheme://authority/path ,默认是hdfs://namenode:namenode port /parent path
转载
2017-12-17 18:39:00
177阅读
2评论
1）Hadoop默认不支持LZO压缩，如果需要支持LZO压缩，需要添加jar包，并在hadoop的cores-si
原创
2022-11-11 10:14:32
90阅读
恢复内容开始 Hadoop知识点 Hadoop知识点什么是HadoopHadoop和Spark差异Hadoop常见版本，有哪些特点，一般是如何进行选择Hadoop常用端口号搭建Hadoop集群的流程Hadoop中需要哪些配置文件，其作用是什么？HDFS读写流程MapReduce的Shuffle过程， ...
转载
2021-07-12 19:29:00
297阅读
2评论
〇、目录 一、架构 1、组成：MapReduce（数据分析）、HDFS（分布文件管理）、Yarn（资源管理器） 2、HDFS：文件读写、存储 3、MapReduce：不同语言编写mr函数，通过JobTracker调度，通过TaskTracker执行，应用：单词计数、数据去重、单表关联、多表关联。（可
原创
2022-06-04 00:32:33
123阅读
# Hadoop期末总结
## 引言
在现代大数据时代，处理海量数据已成为许多企业和组织的重要需求。然而，传统的数据处理方式已无法满足这种需求。Hadoop是一个功能强大的分布式数据处理框架，它可以有效地存储和处理大规模的数据集。本文将介绍Hadoop的基本概念、架构和使用示例，并探讨其在实际应用中的优势和挑战。
## Hadoop概述
Hadoop是由Apache基金会开发和维护的一个开
原创
2023-08-22 11:05:52
81阅读
一、Hadoop组成： 1、Hadoop的核心是HDSF和MapReduce，Hadoop2.0以后引入了yarn。HDFS是一个分布式存储系统。MapReduce是分布式的计算框架。yarn是一个资源调度的工具。Hadoop2.0加入了zk的支持实现比较可靠的高可用。 2、HDFS的启动过程：（1 ...
转载
2021-10-18 11:33:00
336阅读
2评论
文章目录1.HDFS读写流程1.1HDFS写流程1.2 HDFS 读流程2.HDFS在读取文件的时候,如果其中一个块突然损坏了怎么办3.HDFS在上传文件的时候,如果其中一个DataNode突然挂掉了怎么办4.NameNode在启动的时候会做哪些操作4.1 首次启动NameNode4.2第二次启动NameNode4.3HDFS在启动的时候会自动进入安全模式，（在这个状态下只可以进行读操作）5.S
转载
2023-07-12 14:55:20
80阅读
一，hadoop概述什么是hadoop：hadoop是一个开源、高可靠、可扩展的分布式计算机框架（多个计算机同时处理任务）解决的问题：海量数据的存储（HDFS）海量数据的分析（MapReduce）分布式资源调度（Yarn）特点：扩容能力：能可靠地存储和处理千兆字节（PB）的数据 成本低：可通过普通计算机组成集群处理数据，节点数可达到千个节点高效：通过分发数据，Hadoop可以在多个节点上并行的处理
转载
2024-01-31 18:21:04
47阅读
1、hadoop 的核心部件（分布式文件系统）B. YARN（运算资源调度系统）C. MAPREDUCE（分布式运算编程框架）2、重点组件HDFS：分布式文件系统MAPREDUCE：分布式运算程序开发框架HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具HBASE：基于HADOOP的分布式海量数据库ZOOKEEPER：分布式协调服务基础组件Mahou
转载
2024-07-10 16:51:58
37阅读
文章目录一、机器准备二、安装JDK安装步骤shell脚本三、安装zookeeper安装过程修改配置文件配置zk开机自启动启动zookeepershell脚本四、配置免密登录基本步骤shell脚本五、配置Hadoop修改配置文件shell脚本 一、机器准备准备三台虚拟机master、slave1、slave2，内存4G，磁盘空间40G。 关闭防火墙，配置固定ip，使其相互ping通。配置关闭防火墙
转载
2023-06-14 21:15:41
745阅读
〇、目录一、架构1、组成：MapReduce(数据分析)、HDFS(分布文件管理)、Yarn(资源管理器)2、HDFS：文件读写、存储3、MapReduce：不同语言编写mr函数，通过JobTracker调度，通过TaskTracker执行，应用：单词计数、数据去重、单表关联、多表关联。(可以通过命令行执行Hadoop Streaming流，通常用于简单的任务)4、Yarn：由全局的Resourc
转载
2023-09-12 19:53:26
106阅读
