一.消息监听机制来个例子data.observe(this, observer)
data.setValue(1)上述代码，监听者会触发一次，我们来看看其中的缘由在setValue里会给mVersion 成员变量加一，意味着数据的版本 加一，这个mVersion默认值是-1mVersion++;
mData = value;
dispat
HDFS（分布式文件系统）是Apache Hadoop的核心组件之一，而YARN（资源调度和管理系统）也是Hadoop的重要组成部分。那么，HDFS是否依赖于YARN呢？本文将对这个问题进行详细解答，并提供相应的代码示例来帮助读者更好地理解。
首先，让我们来了解一下HDFS和YARN的基本概念。HDFS是一个设计用于在具有大量节点的集群上存储和处理大规模数据的分布式文件系统。它将文件划分为多个块
原创
2023-12-25 07:15:02
90阅读
hdfs应用1. hdfs概述1.1 产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2 什么是hdfsHDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目
转载
2023-10-08 09:19:22
82阅读
自动化failover的引入HDFS中自动化的failover故障转移需要增加两个新的组件：一个是Zookeeper quorum（仲裁），另一个是ZKFailoverController进程（简称ZKFC）。Apache Zookeeper是一个高可用的服务，对于小规模数据协调，通知客户端数据变化，监控客户端失败。自动failover的实现是基于ZK以下的作用：Failure detection
目的 本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用NFS实现NameNode共享存储 本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类型。详情请参阅HDFS架构指南。
注意：QJM或者共享存储
本指南讨论如何配置使用HDFS HA使用NFS目录在活跃的和备份的NameNode之间分享edit日志，对于如何通过QJM实现HA请参
转载
2024-08-07 18:09:50
102阅读
HBase是一个分布式、可扩展、支持海量数据存储的NoSQL数据库。底层物理存储是以Key-Value的数据格式存储的，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。一、主要组件 HBase详细架构图解注意：HBase是依赖ZooKeeper和HDFS的，需要启动ZooKeeper和HDFS。 1. Client&n
转载
2023-09-01 10:59:49
72阅读
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS, MapReduce, Yarn, Hbase及Spark的相互关系如图所示： 从图中可以看出Hadoop的核心是HDFS和MapReduce，HBase、yarn、hive和spark都是在HDFS的基础上操作的。其
转载
2023-08-01 13:29:53
108阅读
HDFS 和 yarn都是主从架构 master==>slave1.DN NM一般部署在同一个机器上 原因是数据本地化2.大数据生态圈大部分组件都是主从架构，例如hdfs yarn有些是集群架构 例如 zookeeper kafka hbase也是主从架构，master regionserver ，但是hbase比较特殊，这个要注意。 HDFS HA架构官网架构图Name
转载
2023-07-28 19:10:01
128阅读
HBaseApache HBaseHBase简介特性环境构建架构草图单机搭建技巧 Apache HBaseHBase简介Apache HBase是一个分布式、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBas
转载
2024-06-11 20:28:20
88阅读
目标：yarn的搭建，在上面跑MapReduce，自己写出代码 回顾： 1.最终去开发MapReduce计算程序 2.新版本，hadoop2.x 出现了yarn：资源管理 -> MR没有后台的长服务 yarn模型：container 容器，里面会运行我们的application master，map/reduce task 目的：解耦计算程序和资源调度 MapReduce on yarn 架
转载
2023-08-24 18:52:13
138阅读
关于Hdfs的理解关于HDFS的问题总结1、DataNode每6s向NameNode上传一次请求，这个关键点在于6秒，但是很多人会有这样一个问题，那namenode在多长时间接收不到请求，会认为宕掉了？这个是一个问题。2、关于HDFS的磁盘不足问题，当要存储的数据大于磁盘的时候，选择增加节点进行扩容。3、移动数据和移动计算的比较，移动数据成本较大，消耗的网络IO资源比较大，所以选择移动计算，在na
转载
2023-09-22 21:40:22
53阅读
一、安装前提1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的，安装需要依赖JDK 5、zookeeper和hdfs安装可以参考 hdfs分布式安装二、HBase的集群安装1、解压安装包#下载
wget http://archive.apache.or
转载
2023-10-06 19:24:15
81阅读
Hive是一个构建在hadoop上的数据仓库框架，其目的是让精通SQL但Java编程技能相对较弱的分析师能够对存放在HDFS中的大规模数据进行执行查询。Hive安装：下载地址:http://hive.apache.org/downloads.htmlHive配置：⑴使用XML配置文件进行设置，配置文件为conf目录下的hive-site.xml，该目录下还有hive-default.xml配置文件
转载
2023-07-12 22:27:37
197阅读
Milvus 1.x 版本支持 S3 存储的部署背景Milvus 1.1.1 版本开始比较完整地支持了 S3 作为存储后端，在此之前，我们在 1.1 及之前版本部署分布式方案的时候，只能采用 NFS 的方案。相比来说 S3 有着更加接地气的云原生表现。本文简单记录了使用 Milvus 1.x 版本，通过官方的 Helm Chart 在 Kubernetes 环境中部署基于 S3 存储的 Milvu
一、HBase的安装配置1.1 伪分布模式安装 伪分布模式安装即在一台计算机上部署Hbase的各个角色，HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。 首先，准备好hbase的安装包，我这里使用的是HBase-0.94.7的版本，已经上传至百度网盘之中（URL：http://pan.baidu.com/s/1pJ3HTY7） （1）通过FTP
KUDU学习总结1 基础概念官方：https://kudu.apache.org/ 在 KUDU 之前，大数据主要以两种方式存储：• 静态数据：以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行随机的读写。• 动态数据：以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。这类存储的局限性是批量读取吞吐量远不如 HDFS，不适用
转载
2024-03-19 17:04:21
57阅读
第6章HDFS概述6.1HDFS的主要特性1.HDFS的主要特征l 支持超大文件l 检测和快速应对硬件故障l 流式数据访问l 简化一致性模型（1次写多次读） 2.HDFS不适合的场景l 低延迟数据访问，可以考虑HBase或者Cassandral 大量小文件l 多用户写入文件、修改文件 3.HDF
转载
2024-04-19 16:21:20
26阅读
# Spark依赖HDFS的实现方法
## 一、流程概览
为了教会小白如何实现"Spark依赖HDFS"，我们可以按照以下步骤进行：
| 步骤 | 描述 |
|------|------|
| 1. 安装Hadoop | 首先需要安装和配置Hadoop，以便Spark可以访问HDFS。 |
| 2. 配置Spark | 修改Spark的配置文件，以便Spark可以使用HDFS。 |
| 3.
原创
2023-12-02 04:49:16
166阅读
锁屏面试题百日百刷，每个工作日坚持更新面试题。****请看到最后就能获取你想要的, 接下来的是今日的面试题：1.Flink 的运行必须依赖 Hadoop组件吗？****Flink可以完全独立于Hadoop，在不依赖Hadoop组件下运行。但是做为大数据的基础设施，Hadoop体系是任何大数据框架都绕不过去的。Flink可以集成众多Hadooop 组件，例如Yarn、Hbase、HDFS等等。例如，
转载
2024-05-10 19:57:29
64阅读
因为工作需要，我们使用hbase + hadoop存储基于用户内容的数据(UGC)，本文将描述如何逐步搭建此平台，仅作参考。 1. 环境 操作系统：Red hat 6.3，300G硬盘，双核CPU JAVA：JDK1.6
转载
2024-07-19 09:48:11
58阅读
