apache大数据数仓各组件部署搭建第一章 环境准备1. 机器规划准备3台服务器用于集群部署，系统建议CentOS7+，2核8G内存172.19.195.228 hadoop101 172.19.195.229 hadoop102 172.19.195.230 hadoop103[root@hadoop101 ~]# cat /etc/redhat-release
CentOS Linux re
转载
2023-12-08 23:17:58
32阅读
文章目录1. 分布式文件系统（HDFS）1）NameNode2）SecondaryNode2. 资源管理调度框架Yarn1）ResourceManager2）ApplicationMaster3）NodeManager4）Container3. 分布式协调服务ZooKeeper4. 数据仓库工具Hive1）HiveServer25. 分布式计算框架Spark1）Spark SQL2）Spark
转载
2023-08-31 19:05:30
127阅读
大数据集群安装写在前头集群安装部署HadoopHA与ZOOKEEPERHBASEHIVEFLUMEKAFKASPARKKylinKafka-eagel问题排查 写在前头本文就是一些个人安装 Apache Hadoop集群（包括其一些生态组件）时的一些过程。集群安装部署Hadoop确定集群数，最好为奇数台修改hosts文件映射（最好保证机器的ip为静态ip）上传Hadoop，jdk压缩包，并解压配
转载
2023-07-12 14:44:41
45阅读
文章目录1.Hadoop1.1 定义1.2 特点优点1.3 Hadoop优化1.3.1 Mapreduce跑的慢的原因1.3.2 优化方法2.HDFS2.1 HDFS设计目标2.2 HDFS的重要特性2.3 优缺点2.4 小文件解决方法3.HBase3.1 特点3.2 架构4.Zookeeper4.1 工作机制4.2 特点4.2 选举机制4.3 监听器原理4.4 部署方式有哪几种？集群中的角色有
转载
2023-07-24 11:17:20
7阅读
可以把Hadoop YARN理解为相当于一个分布式的操作系统平台，而MapReduce
原创
2023-01-15 14:01:51
298阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thr
转载
2023-07-14 19:14:52
59阅读
Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后
转载
2023-08-09 11:04:29
87阅读
主机角色分配：NameNode、DFSZKFailoverController角色oversea-stable、bus-stable；需要安装软件有：JDK、Hadoop2.7.1nod3主机角色分配：ResourceManager；需要安装软件有：JDK、Hadoop2.7.1node4、node5、node6主机角色分配：JournalNode、DataNode、NodeManager、Quo
原创
2018-06-15 11:46:05
1716阅读
## Apache Hadoop 实现流程
Apache Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。在教会小白如何实现 Apache Hadoop 之前，我们先来了解一下整个实现的流程。
### 整体流程
下面是实现 Apache Hadoop 的整体流程表格：
| 步骤 | 描述 |
| -- | -- |
| 步骤 1 | 准备环境 |
| 步骤
原创
2023-08-19 13:27:15
40阅读
Apache™Hadoop®项目为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于在应用层检测和处理故障，从而在一组计算机之上提供高可用性服务，每个计算机都可能出现故障。该项目包括这些模块：Ha
转载
2023-07-05 15:49:34
72阅读
介绍在这篇博客里，我将介绍Apache Hadoop HDFS的架构。如果想熟练掌握Hadoop，HDFS&YARN是两个很重要的概念。在上一篇博客中，你已经知道了HDFS是一个分布式文件系统，部署在廉价的硬件上。现在，是时候来更深入地了解HDFS来发现它的神奇。本篇博客主要包含一下内容：HDFS的Master/Slave拓扑结构NameNode，DataNode和Secondary Na
转载
2023-09-16 11:06:41
240阅读
二、Hadoop 核心组件2.1、Apache Hadoop简介Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。优点： 高可靠性、高扩展性、高效性、高容错性、低成本2.2
转载
2023-07-19 20:36:08
44阅读
兵马未动，粮草先行 ——汉语成语系列文章目录Hadoop集群搭建之Linux系统安装 Hadoop集群搭建之Hadoop组件安装 文章目录系列文章目录前言一、IP和主机名称配置（一）Hadoop服务器（二）VMware（三）Window二、配置远程连接总结 前言记录自己在家用电脑利用虚拟机搭建Hadoop集群的具体过程，分享我遇到的坑，如有错误，请各位小伙伴指正，持续更新中。一、IP和主机名称配置
转载
2023-11-16 10:08:53
53阅读
Hadoop是什么大白话，Hadoop是个存储数据，计算数据的分布式框架。核心组件是HDFS、MapReduce、Yarn。HDFS：分布式存储MapReduce：分布式计算Yarn：调度MapReduce现在为止我们知道了HDFS、MapReduce、Yarn是干啥的，下面通过一张图再来看看他的整体架构。HDFSHDFS是Hadoop的存储系统，将庞大的数据存储在多台机器上，并通过数据副本冗余实
转载
2023-05-26 16:23:20
231阅读
Hadoop是一种分布式数据和计算的框架。序列化机制，支持多语言交互// 特点
数据并行，处理串行！生态圈组件：HDFS：是一个高度容错性的系统，提供高吞吐量的数据访问，突破硬盘大小的限制，适合大规模数据集上的应用，可为yarn和Hbase服务。Yarn：通用的资源协同任务调度框架，解决namenode负载太大和其他问题，提高资源利用率，具有良好的扩展性，可用性，可靠性，向后兼容性。在YARN中，
转载
2023-08-18 19:40:25
58阅读
认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍：一、 Hadoop组件由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于下层的存储和计算来完成
转载
2024-02-22 23:16:52
36阅读
duce模块配置yarn-site.xml yarn模块配置第三类1个： workers。......
推荐
原创
2023-04-05 11:12:45
1001阅读
点赞
1评论
Hadoop简介： Hadoop是Apache软件基金会旗下的一份开源的分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的（c c++ 都可以在Hadoop上开发），具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统HDFS（分布式文件存储）和 MapReduce（分布式文件处理）。Hadoop被
转载
2023-07-24 16:54:16
67阅读
上节我们学习了JDK安装，这节我们学习一下Hadoop的安装及环境配置首先我们需要到Apache官网下载我们需要的Hadoop版本，Apache产品官网是：http://archive.apache.org/dist/如下图所示，我们可以看到有很多种产品，这里我们需要的是Hadoop因此我们点击hadoop。  
转载
2024-01-09 22:45:38
99阅读
由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。1. Apache Hadoop1.1 Apache版本衍化截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoo
转载
2024-01-09 21:48:49
47阅读
