介绍HDFS是个分布式文件系统，包含几个特点（区别于普通分布式文件系统）：高容错、高吞吐。高容错可以使得系统部署在廉价硬味着HDFS的部分组件会经常不工
原创
2016-12-02 21:33:58
183阅读
HDFS HA架构
QJM用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。这个原理是基于Paxos算法。在HA架构里面SecondaryNameNode这个冷备角色已经不存在了，为了保持standby NN时时的与主Active NN的元
转载
2024-06-06 01:17:34
25阅读
前言HDFS作为一套成熟的分布式存储系统,它...
转载
2020-01-12 19:08:00
103阅读
2评论
前言HDFS作为一套成熟的分布式存储系统,它...
转载
2020-01-12 19:08:00
113阅读
2评论
前言 如今做云存储的公司非常多,举2个比較典型的AWS的S3和阿里云.他们都提供了一个叫做对象存储的服务,就是目标数据是从Object中进行读写的,然后能够通过key来获取相应的Object,就是所谓的key-object的存储.这种优点就在于用户使用起来非常方便的,不须要走冗杂的操作流程.可是本文
转载
2017-08-14 09:26:00
128阅读
2评论
官方文档：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html一、介绍DFS(Distributed File System)分布式文件系统：管理网络中跨多台计算机存储的文件系统。Hadoop自带一个HDFS(Hadoop Distributed File System)分布式文件系
转载
2023-08-03 14:45:47
83阅读
前言现在做云存储的公司很多,举2个比较典型的...
转载
2020-01-12 19:09:00
511阅读
2评论
前言现在做云存储的公司很多,举2个比较典型的...
转载
2020-01-12 19:09:00
174阅读
2评论
HDFS架构 一、HDFS访问流程 读取数据操作：用户进行读取数据请求，首先传入Namenode数据块，Namenode将读写信息传给Client，再由Client根据Namenode所给的信息找到数据所在的Datanode，进行读取。 写入数据操作：用户进行写入数据请求，首先传入Namenode数
转载
2023-08-16 22:03:55
157阅读
本文阐述了hdfs主要原理，以及hdfs读写流程
原创
精选
2019-12-23 16:11:53
4280阅读
Hadoop是一个由 Apache 基金会开发的分布式系统基础架构。可以快速实现大规模数据的分布式存储开发，以及分布式程序的快速开发，利用集群的威力进行大数据的高速存储和运算。其中 Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）起到非常重要的作用，HDFS 是 Hadoop 项目核心子项目，HDFS 是分布式计算中数据存储管理的基础，它以文件
原创
2022-09-30 16:59:09
119阅读
Hedged reads是HDFS的一个功能，在Hadoop 2.4.0之后引入。一般来说，每个读请求都会由生成的一个线程处理。在Hedged reads 启用后，客户端可以等待一个预配置的时间，如果read没有返回，则客户端会生成第二个读请求，访问同一份数据的另一个block replica之后，其中任意一个read 先返回的话，则另一个read请求则被丢弃。 Hedged reads使用的场景
转载
2024-06-13 19:13:37
37阅读
源自Namenode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表, 接收用户的操作请求。 文件包括： ①fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 ②edits:操作日志文件。 ③fstime:保存最近一次checkpoint的时间 以上这些文件是保存在linux的文件系统中。通过hdfs-site.xm
转载
2023-08-21 16:38:35
92阅读
HDFS 介绍HDFS 是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。HDFS 的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到数百个节点，能够存储海量的数据。比如说，某个表 100亿条数据，你还用MySQL 去存么？一台机器你的配置得多高才
转载
2021-01-19 20:23:11
493阅读
2评论
什么是架构设计软件架构设计指的是：对一个软件系统进行的架构定义、文档编写、维护和改进、并验证实现的一系列活动，架构设计的产物就是一个系统的架构。对架构设计的基本认识●架构设计是一门尚不够成熟的科学●架构设计是一门艺术，需要一定的创造力●架构设计是一系列的活动，是不断演化和完善的过程●架构要平衡系统利益相关者的需要●架构基于合理的证据使决策具体化●架构设计是系统利益相关者的共识●架构设计承认经验的复
转载
2019-01-03 22:31:18
1222阅读
datecommentscategoriestagspermalinktitle 2020/3/15 true 5.8 架构设计原则案例分析 软件架构 前面介绍了架构设计的三条核心原则，即合适原则，简单原则和演化原则，我们在设计架构实践中应该时刻谨记，这3条原则
转载
2023-09-30 17:47:08
155阅读
从今天开始，我将分4期，结合复杂度来源和架构设计原则，通过一个模拟的设计场景“前浪微博”，和你一起看看在实践中究竟如何进行架构设计。今天先来看架构设计流程第1步：识别复杂度。架构设计第1步：识别复杂度我在前面讲过，架构设计的本质目的是为了解决软件系统的复杂性，所以在我们设计架构时，首先就要分析系统的复杂性。只有正确分析出了系统的复杂性，后续的架构设计方案才不会偏离方向；否则，如果对系统的复杂性判断
转载
2023-07-18 13:33:23
159阅读
一、什么是架构我想这个问题，十个人回答得有十一个答案，因为另外的那一个是大家妥协的结果，哈哈，我理解，架构就是骨架人类的身体的支撑是主要由骨架来承担的，然后是其上面的肌肉、神经、皮肤。架构对于软件的重要性不亚于骨架对人类身体的重要性。二、什么是设计模式
这个问题我问过的面试者不下数十次，回答五花八门，在我看来，模式就是经验，涉及模式就是涉及经验，有了这些经验，我们就能在特定情况下使用特定的设计、组
转载
2023-07-13 00:05:53
406阅读
这一篇讲软件架构和软件框架在UML设计过程中所起的作用。本系列文章不是专门讨论软件架构和软件框架的，所以不会深入讲怎么做软件架构和软件框架。另一个原因是笔者尚无这个自信能够在这里班门弄斧讲软件架构。之所以要讲，是因为在设计过程中，设计类必然会受到软件架构和框架的约束。从分析类到设计类，软件架构和框架是不得不考虑的一个重要因素。软件架构和软件框架是一回事儿吗？相信有相当一部分人搞不清楚这个问题，也会
转载
2023-09-10 10:29:50
149阅读
在当今复杂多变的技术环境中，系统架构设计和产品架构设计已成为科技企业不可或缺的重要领域。本文将探讨这两个概念的定义、差异和相互关系，以及在实践中如何将它们应用于产品开发过程。
一、系统架构设计
系统架构设计是指对一个复杂系统进行结构化和组织化，以实现特定的功能和性能目标。它涉及到对各个组件、模块、接口和数据流进行详细的设计和规划。系统架构设计需要充分考虑系统的稳定性、可扩展性、可维护性和可重用
原创
2023-10-09 16:07:20
171阅读
