目录一、Hadoop部署的三种方式1、Standalone mode（独立模式）2、Pseudo-Distributed mode（伪分布式模式）3、Cluster mode（集群模式）二、准备工作1、先完成zk高可用搭建2、/etc/hosts增加内容3、各台服务器分别创建目录4、关闭防火墙和禁用swap交换分区5、三台机器间免密6、安装jdk7、下载好hadoop安装包三、高可用配置1、配置c
转载
2023-08-01 00:04:43
177阅读
介绍在这篇博客里，我将介绍Apache Hadoop HDFS的架构。如果想熟练掌握Hadoop，HDFS&YARN是两个很重要的概念。在上一篇博客中，你已经知道了HDFS是一个分布式文件系统，部署在廉价的硬件上。现在，是时候来更深入地了解HDFS来发现它的神奇。本篇博客主要包含一下内容：HDFS的Master/Slave拓扑结构NameNode，DataNode和Secondary Na
转载
2023-09-16 11:06:41
240阅读
Apache Hadoop 是一种流行的大数据框架，允许组织存储、处理和分析大量数据。Hadoop 的体系结构旨在通过使用分布式存储和处理来处理大量数据。在本文中，我们将用图表解释 Apache Hadoop 的架构及其各种组件。Apache Hadoop 简介Apache Hadoop 是一个开源软件框架，用于在分布式环境中存储和处理大量数据。它由 Doug Cutting 和 Mike Caf
原创
2023-05-11 11:59:44
343阅读
大数据hadoop系列
原创
2018-04-10 10:57:01
1454阅读
点赞
何谓微服务架构的简单模式？相对于大型互联网平台动辄几万并发的访问量，或者每天多次的在线版本发布，绝大多数企业和项目并没有这样的需求。他们关注的是如何更好地提高开发效率，如何更快地实现新需求，如何更便利地运维，等等。微服务架构的简单模式就是可以满足以上需求的软件架构方案。相对于“完美”的微服务架构方案，微服务架构简单模式可以暂且不用关注保障数据一致性的分布式事务技术、方便程序包在环境间（开发、测试、
转载
2023-09-18 09:28:58
31阅读
# YARN组建架构解析
YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的一个关键组件，主要负责资源管理和任务调度。YARN的出现使得Hadoop不仅仅局限于MapReduce框架，能够支持更广泛的计算模型。本文将介绍YARN的主要组成部分，并提供相关代码示例，帮助读者更好地理解这一架构。
## YARN的组成部分
YARN的架构主要由三个
一、简介
当今只要谈到大数据，自然想到Hadoop，以前Hadoop还只是个软件、系统，而如今更多代表的是一个大数据生态圈。
本文谈的 Hadoop 特指一个软件，它是 Apache 基金会的顶级项目之一，它本身主要解决了大数据领域的两大核心问题，如何存储(hdfs)、如何计算(mapreduce)。
官方文档：http://hadoop.apache.org
闲言少叙，下面进入正题。
转载
2023-07-13 16:52:33
50阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 Spring Cloud微服务架构构建高可用前言一、Eureka高可用配置1.Eureka简介2. Eureka 的高可用二、Gateway网关高可用配置1.网关高可用2.配置nginx.conf文件总结 前言微服务工程项目中经常出现一些高可用需求场景，例如对于注册中心的高可用需求，对于网关的高可用需求。今天跟大家分享下Spring
转载
2024-01-15 00:28:30
41阅读
一、组件简介Hadoop的核心为HDFS（分布式文件系统）和MapReduce（离线计算框架）。HDFS就是将要储存的文件分散在不同的硬盘上，并记录他们的位置，而MapReduce就是将计算任务分配给多个计算单元。 Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+…1、HDFS：分布式文件系统，隐藏集群细节，可以看做一块儿超大硬盘 HDFS已经成为现在大数据的储
转载
2023-11-20 02:38:18
70阅读
切分系统。无论是单体应用还是微服务结构，都需要把系统分为若干模块。切分有两个维度。一是从职责上，比如UI、业务逻辑、数据库；二是从业务上，按用例切分。也就是Uncle Bob说的，把相同原因并且相同时间变化的放一起，把不同原因或者不同时间变化的分开。确定模块间依赖。原则是高层不依赖细节，细节依赖高层。比如用户可以修改UI和Controller而不会影响业务，可以更换数据库而不影响业务、UI。可以更
转载
2023-07-07 17:52:59
38阅读
目 录一、 建设背景 5二、 建设目标 6三、 建设必要性 6四、 存在问题 7五、 总体架构 8六、 总体建设方案 86.1. 监测预警平台 86.1.1. 日常监督管理 86.1.2. 信息采集管理 96.1.3. 监测预警管理 106.2. 城市指挥调度平台 146.2.1. 可视化指挥调度平台 146.2.2. 协同工作子系统 356.2.3. 综合评价子系统 386.2.4.
Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算.数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后
转载
2023-08-09 11:04:29
87阅读
经过一个星期的苦战，皇天不负有心人，终于把phpBB论坛做出来了，下面我把我安装的步骤写出，供有需要的朋友做参考。
使用的源码包版本如下：
httpd-2.2.8.tar.gz
mysql-3.23.57-pc-linux-i686.tar.gz
php-4.4.4.tar.gz
phpBB-2.0.5.tar.gz
lang_chinese_traditi
转载
精选
2009-07-13 16:20:13
1028阅读
主机角色分配：NameNode、DFSZKFailoverController角色oversea-stable、bus-stable；需要安装软件有：JDK、Hadoop2.7.1nod3主机角色分配：ResourceManager；需要安装软件有：JDK、Hadoop2.7.1node4、node5、node6主机角色分配：JournalNode、DataNode、NodeManager、Quo
原创
2018-06-15 11:46:05
1716阅读
## Apache Hadoop 实现流程
Apache Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。在教会小白如何实现 Apache Hadoop 之前，我们先来了解一下整个实现的流程。
### 整体流程
下面是实现 Apache Hadoop 的整体流程表格：
| 步骤 | 描述 |
| -- | -- |
| 步骤 1 | 准备环境 |
| 步骤
原创
2023-08-19 13:27:15
40阅读
经过一个星期的苦战，皇天不负有心人，终于把phpBB论坛做出来了，下面我把我安装的步骤写出，供有需要的朋友做参考。
使用的源码包版本如下：
httpd-2.2.8.tar.gz
mysql-3.23.57-pc-linux-i686.tar.gz
php-4.4.4.tar.gz
phpBB-2.0.5.tar.gz
lang_chinese_traditi
推荐
原创
2008-04-28 10:16:00
7408阅读
9评论
Apache™Hadoop®项目为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于在应用层检测和处理故障，从而在一组计算机之上提供高可用性服务，每个计算机都可能出现故障。该项目包括这些模块：Ha
转载
2023-07-05 15:49:34
72阅读
什么是计算机网络 上个世纪九十年代，因特网为代表的计算机网络得到了飞速发展。通常我们将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信路线链接起来，在网络操作系统，网络管理软件以及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统。 计算机网络体系结构的形成 计算机网络是一个非常复杂的系统。为了说明这一点，设想一个最简单的场景：连接在网络的两台
转载
2024-09-14 14:06:38
73阅读
《Spring技术内幕——深入解析Spring架构与设计原理》图 书 内 容 本书是Spring领域的问鼎之作，由业界拥有10余年开发经验的资深Java专家亲自执笔！Java开发者社区和Spring开发者社区一致强烈推荐。 国内第一本基于Spring 3.0的著作，从源代码的角度对Spring的内核和各个主要功能模块的架构、设
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 1 环境介绍一台阿里云ECS服务器：master操作系统：CentOS 7.3Hadoop：hadoop-2.7.3.tar.gz
Java: jdk-8u77-linux-x64.tar.gz
Flume：apache-flume-1.8.0-bin.tar.gz
转载
2023-05-18 13:24:46
65阅读
