Hadoop 完全分布式安装-Hadoop—2.7.4
原创
2017-11-29 20:34:29
616阅读
点赞
hadoop入门分析（一）- 基本架构 这里呢我们将简单的对大数据进行一个初步的认识，毕竟大家都知道，无论是学习一项新技术还是一项新的什么其他的技能，光靠死记硬背是很难背下来的。重要的是对于你要掌握的东西的一个理解，有了理解，那就容易多了不是。所以人狠话不多，废话不多说，接下来就和大家一起探讨下大数据的基本架构。背景 背景就不多赘述了，相信很多朋友也不愿意过多了解这个历史，这里还是主要感谢膜拜那些
转载
2024-01-15 15:46:39
70阅读
Hadoop有3种安装模式单机模式、伪分布模式和全分布模式。1）下载最新版本的Hadoop，并减压% tar xzf hadoop-x.y.z.tar.gz2） Hadoop路径配置 切换到root用户的根目录， 编辑.bashrc文件， 在该文件的最下方添加如下语句：（如果只在终端输入输入exoprt，只在当前shell下生效，以后重启就不生效了，所有一劳永逸在.bashrc文件中配置）e
转载
2013-03-24 11:29:00
61阅读
Hadoop基础
推荐
原创
2022-11-06 15:26:12
1206阅读
点赞
Hadoop总结——Hadoop基础
原创
2022-11-26 07:39:58
266阅读
点赞
1 什么是hadoop? hadoop是一个开源框架,用于存储大量数据,并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据 主要包含以下几块? HDFS 允许你一种分布式和冗余的方式存储大量数据 MapReduce 一个计算框架,它以分布式和并行的方式处理大量数据 Yarn 用于 ...
转载
2021-10-17 12:21:00
97阅读
2评论
# Hadoop基础
## 什么是Hadoop？
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它的设计目标是可以在廉价的硬件上进行可靠、高效的分布式计算。
Hadoop具有以下几个核心组件：
- Hadoop分布式文件系统(HDFS)：用于存储大规模数据集的分布式文件系统。
- Hadoop YARN：用于管理和调度集群中的资源。
- Hadoop MapReduce
原创
2023-07-14 16:17:11
41阅读
# Hadoop 基础
Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集。它能够通过分布式计算和存储的方式，让我们在数百或数千台机器上并行处理数据。Hadoop 由多个模块构成，以便应对不同的数据处理需求。本文将为您介绍 Hadoop 的基本概念、架构组件、使用方法以及代码示例。
## 一、Hadoop 的架构
Hadoop 的核心组成部分包括以下模块：
1. **Hadoo
基础概念 大数据的本质 一、数据的存储：分布式文件系统（分布式存储）二、数据的计算：分部署计算 基础知识 学习大数据需要具备Java知识基础及Linux知识基础 学习路线 （1）Java基础和Linux基础（2）Hadoop的学习：体系结构、原理、编程第一阶段：HDFS、MapReduce、HBas
转载
2018-07-05 11:49:00
181阅读
2评论
一、Hadoop的组成1. HDFSHadoop分布式文件系统 海量数据的存储NameNode 集群中的主节点，用来管理元数据(文件属性信息)DataNode 集群中的从节点，用来管理文件块SecondaryNameNode 集群中的辅助节点，用于NameNode的存储优化和数据恢复2. YARN分布式资源(cpu、内存等计算资源)调度服务ResourceManager 集群中的主节点,用于接收客
转载
2023-07-12 14:38:11
28阅读
hadoop是什么？ (1)Hadoop就是一个分布式计算的解决方案，也就是帮助我们把 一个任务分到很多台计算机来运算。 (2)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理）Hadoop的数据来源可以是任何
转载
2021-05-24 10:22:13
4447阅读
hadoop是什么？(1)Hadoop就是一个分布式计算的解决方案，也就是帮助我们把 一个任务分到很多台计算机来运算。(2)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的
原创
2022-03-11 10:52:21
1789阅读
Hadoop常用操作1、Hadoop安装略2、Hadoop配置略3、Hadoop多目录配置namenode和datanode节点下都可以进行多个目录的配置，但是意义不同。namenode的多目录配置是副本策略，保证数据可靠性，datanode多目录配置是对容量进行扩容，由于datanode已经有副本机制了。[hdfs-site.xml]<!-- namenode多目录配置 -->
&l
转载
2023-05-23 17:26:28
116阅读
Hadoop环境配置与测试Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。 • 单机模式：Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。 • 伪分布式模式：Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 Data
转载
2023-10-14 22:43:35
48阅读
一、在Ubuntu下创建hadoop组和hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。 1、创建hadoop用户组 、创建hadoop用户 &n
转载
2024-10-12 12:06:21
50阅读
1、基本概念 2、Mapper 3、Reducer 4、JobRunner 5、JAR 提交作业 到YARN
原创
2021-07-22 13:50:40
790阅读
1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面 2）进入到Hadoop安装包路径下 [atguigu@hadoop102 ~]$ cd /opt/software/ 3）解压安装文件到/opt/module下面 [atguigu ...
转载
2021-09-14 17:20:00
695阅读
2评论
Hadoop系列——Hadoop集群安装day2-1Hadoop系列——Hadoop集群安装day2-1集群角色规划准备工作1.克隆centos准备三台机器2.更改三台主机名3.更改主机映射3.1获取ip地址3.2添加映射4.关闭防火墙5.同步机器时间6.安装Java7.免密登录8.上传并解压压缩包9.配置文件9.1配置JDK路径9.2设置用户以执行对应角色的shell命令完整配置10.编辑ha
转载
2023-07-21 13:50:48
179阅读
1、参看目录大小 a、查看当前目录下的各级目录 命令1 hdfs dfs -du -h /home 命令2 hdfs dfs -ls -h /home b、查看指定目录的总大小 hdfs dfs -du -s -h /home/root 2、获取hdfs链接地址以及端口号 命令 hdfs getco ...
转载
2021-10-25 17:22:00
248阅读
2评论
# Hadoop 基础平台
## 引言
在大数据时代，处理海量数据已经成为了一项重要任务。Hadoop是一个开源的分布式计算平台，它可以帮助我们有效地存储、处理和分析大规模数据集。本文将介绍Hadoop的基础知识，并提供一些代码示例来演示其使用方法。
## Hadoop架构
Hadoop的核心组件包括Hadoop分布式文件系统(Hadoop Distributed File System,
原创
2023-12-06 14:56:29
9阅读
