文档目录Hadoop概念及运行原理1、 什么是Hadoop？2、 Hadoop能解决什么问题？1、海量数据存储2、资源管理，调度和分配3、 Hadoop集群的框架是什么样的？思考4、 YARN？1、为什么会有Yarn？2、Yarn框架结构5、 HDFS文件读写过程1、HDFS 文件写入过程2、HDFS 文件读取过程6、 HDFS 2.X Federation 实现1、在 Hadoop1.X 中，
转载
2024-10-13 20:01:48
154阅读
Hadoop是一个用于处理大规模数据的分布式计算框架，它由Hadoop分布式文件系统（HDFS）和Hadoop YARN组成。在传统的Hadoop中，HDFS和YARN是紧密耦合的，它们在同一个进程中运行。然而，随着大数据的快速发展，这种紧密耦合的架构开始遇到一些限制，因此有了将HDFS和YARN分开的需求。
将HDFS和YARN分开的好处是可以独立扩展它们的资源和性能。例如，当我们需要增加处理
原创
2024-01-26 11:38:17
58阅读
# 如何将 DolphinScheduler 和 Spark 服务分开部署
DolphinScheduler 是一款分布式的任务调度系统，它能够帮助我们管理和调度各种服务和作业。在大数据环境下，Spark 是一款极为常用的计算框架。因此，将 DolphinScheduler 和 Spark 服务分开部署，不仅能够提高系统的可维护性和扩展性，也能够在运维时减少彼此之间的干扰。本文将逐步指导你如何实
Hadoop 和Spark完全分布式部署1. 配置相关服务器1.1 修改主机名hostname master1.2 修改/etc/hosts文件, 添加如下配置，方便通过主机名访问服务器127.0.0.1 localhost
master_ip master
worker1_ip worker01
worker2_ip worker021.3 配置ssh免密登录cd ~/.ssh
ssh-keyg
转载
2023-08-25 22:34:13
81阅读
概要Spark流是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据库和HDFS。 &
转载
2024-01-03 22:08:24
85阅读
HDFS的安装部署下载地址：Index of /dist/hadoop/common (apache.org)一、简介HDFS前言：设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务。 HDFS采用了主从式（Master/S
目录一、如何理解HBase二、HBase与Hive、Hadoop的区别1. 从概念上区分2. 从应用场景上区分3. 从数据库角度来看4. 小结三、HBase的详细架构1. HBase与HDFS和Zookeeper的关系2. 两个核心节点HMaster和HRegionServer3. HLog4. HRegion5. Store6. 存储工具Mem Store和StoreFile四、HBase读写过
转载
2023-09-11 06:49:44
288阅读
Spring开发IoC容器IOC原理IoC意为控制反转，又称为依赖注入定义IoC配置<beans>
<bean id="dataSource" class="HikariDataSource" />
<bean id="bookService" class="BookService">
<property name="dat
# 如何实现“YARN必须部署在HDFS集群吗”
在大数据环境中，YARN (Yet Another Resource Negotiator) 和 HDFS (Hadoop Distributed File System) 是两个至关重要的组件。初学者可能会好奇，YARN是否必须与HDFS一起部署。在这篇文章中，我们将详细阐述这个问题，并通过一个步骤化的流程指导小白如何理解与实现这一过程。
#
Hadoop的三大核心组件之HDFS和YARNHadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 Reso
转载
2023-07-30 15:40:48
75阅读
ES7前端异步玩法：async/await理解 在最新的ES7（ES2017）中提出的前端异步特性：async、await。什么是async、await？async顾名思义是“异步”的意思，async用于声明一个函数是异步的。而await从字面意思上是“等待”的意思，就是用于等待异步完成。并且await只能在async函数中使用通常async、await都是跟随Promise一起使用的。
# MySQL索引可以和表分开吗？
在MySQL数据库中，索引是一种用于提高检索效率的重要技术。通常情况下，索引与表是绑定在一起的，即在创建表的同时创建索引。但是，有时候我们可能会想要将索引和表分开，以便更好地管理和优化数据库性能。那么，在MySQL中，索引是否可以和表分开呢？答案是可以的。接下来，我们将详细介绍在MySQL中如何实现索引与表分开，并给出相应的代码示例。
## 为什么需要将索引
原创
2024-03-31 06:08:45
53阅读
haproxy能够实现的功能4层负载均衡，透明代理，7层负载均衡（会话保持，动静分离，多种轮询算法）安装haproxy centos7 自带HA-Proxy version 1.5
yum update -y && yum install epel* -y && yum update -y && yum install haproxy -y 配置
一、HDFS基本概念HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun
转载
2023-12-22 19:26:24
60阅读
docker部署可以把lib分开打包吗
在现代应用开发中，Docker为部署提供了统一的环境。然而，在实际的Docker使用中，许多开发者常常遇到如何将库文件分开打包的问题，这不仅有利于提高镜像的构建速度，同时也可以减小镜像体积。本文将详细记录如何实现Docker部署的lib分开打包，包括环境准备、分步指南、配置详解、验证测试、排错指南和扩展应用。
## 环境准备
### 软硬件要求
在进行
Yarn包括resourcemanager和datamanagerHdfs包括namenode和datanode 这两个服务启动了，就可以跑mapreduce程序了
原创
2016-02-11 12:05:46
1151阅读
目录一、环境描述二、安装 ES2.1 下载Elasticsearch2.2 解压Elasticsearch2.3 创建es服务账号/密码2.3 修改服务器配置2.4 配置节点2.4.1 配置说明2.4.2 配置高可用集群2.4.2.1 maser节点服务配置2.4.2.2 node1 节点服务配置2.4.2.3 node2 节点服务配置2.4.2.3 node3 节点服务配置2.4.2.3 nod
一.定义HDFS(Hadoop Distributed File System):它是一个文件系统，用于储存文件，通过目录树来定位文件。同时，它是分布式的，由很多服务器联系起来实现其功能，集群的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读入的场景，且不支持文件的修改。适合用来做数据分析，不适合做网盘应用。二.优点1.高容错性：a）：数据自动保存为多个副本。它通过增加副本的方式，提高
转载
2023-07-12 10:11:00
76阅读
hdfs应用1. hdfs概述1.1 产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2 什么是hdfsHDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目
转载
2023-10-08 09:19:22
82阅读
HDFS（分布式文件系统）是Apache Hadoop的核心组件之一，而YARN（资源调度和管理系统）也是Hadoop的重要组成部分。那么，HDFS是否依赖于YARN呢？本文将对这个问题进行详细解答，并提供相应的代码示例来帮助读者更好地理解。
首先，让我们来了解一下HDFS和YARN的基本概念。HDFS是一个设计用于在具有大量节点的集群上存储和处理大规模数据的分布式文件系统。它将文件划分为多个块
原创
2023-12-25 07:15:02
90阅读
