Hadoop Distributed File System (HDFS) — Apache Hadoop 项目的一个子项目 — 是一个高度容错的分布式文件系统，设计用于在低成本硬件上运行。HDFS 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。本文探索 HDFS 的主要特性，并提供一个高级 HDFS 架构视图。HDFS 是一个 Apache Software Foundatio
原创
2014-04-22 20:46:52
577阅读
点赞
什么分布式系统？用多台机器解决一台机器上不能解决的问题。 现在常用的分布式文件系统有两种： 按照4S 分析： Scenario: ...
转载
2020-10-21 03:00:00
343阅读
2评论
什么分布式系统？用多台机器解决一台机器上不能解决的问题。 现在常用的分布式文件系统有两种： 按照4S 分析： Scenario: ...
转载
2020-10-21 03:00:00
209阅读
2评论
作者在阿里做云智慧城市。据说16年开始已经全职rust实践。下面是带来的精彩演讲。以下是部分现场内容。
转载
2022-06-20 18:51:13
34阅读
https://static.googleusercontent.com/media/research.google.com/en//archive/bigtable-osdi06.pdf Abstract Bigtable is a distributed storage system for m
转载
2016-12-29 09:22:00
81阅读
2评论
目录 一、HDFS概述 二、HDFS特点 三、HDFS集群组成：主从架构 一个主节点，多个从节点 1. NameNode（名称节点 / 主节点） HDFS集群的管理者 2. DataNode （数据节点 / 从节点） 3. SecondaryNameNode （第二名称节点） 四、HDFS传输文件方 ...
转载
2021-07-26 11:15:00
111阅读
2评论
从今天开始学习《Hadoop权威指南》，希望学有所获。。。。1、HDFS的设计Hadoop的分布式文件系统被称为HDFS(Hadoop Distributed File System)，是以流式数据访问模式存储超大文件而设计的文件系统，在商用硬件的集群上运行。其中，流式数据访问：HDFS是建立在一次写入，多次读取模式是最高效的思想基础上的。商用硬件是Hadoop不需要运行在昂贵、可靠的硬件上，它被
转载
2023-07-29 21:56:12
90阅读
分布式系统(Distributed System)资料《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系
原创
2022-04-13 15:52:53
77阅读
这篇讲的是我使用mercurial时候的一些有趣的发现。We internally use mercurial as the source version control system.Mercurial is a very useful and powerful source control system, the difference from cvs/svn is that, mercuri
原创
2013-06-20 14:09:53
833阅读
分布式系统(Distributed System)资料《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生
原创
2021-07-17 10:03:00
301阅读
主要是两方面：读的scale和写的scale 总结一下这篇文章： 关于解决方法的一些细节： 首先 当文件越来越多的时候，serve...
转载
2020-10-21 03:00:00
143阅读
2评论
主要是两方面：读的scale和写的scale 总结一下这篇文章： 关于解决方法的一些细节： 首先 当文件越来越多的时候，serve...
转载
2020-10-21 03:00:00
86阅读
2评论
Bigtable 可以说是log-structed以及page-oriented 两种存储引擎的整合体，我们性能优越的单机存储引擎leveldb和rocksdb就是基于google的bigtable存储系统实现的。 论文地址Bigtable: A Distributed Storage System for Structured Databigtable是基于分布式的存储系统，支持超大规
原创
2022-11-04 11:24:04
39阅读
1，概念HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 HDFS 内部的所有通信都基于标准的 TCP/IP 协
简介： Hadoop Distributed File System (HDFS) — Apache Hadoop 项目的一个子项目 — 是一个高度容错的分布式文件系统，设计用于在低成本硬件上运行。HDFS 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。本文探索 HDFS 的主要特性，并提供一个高级 HDFS 架构视图。 HDFS 是一个 Apache Software
转载
2023-09-14 13:50:47
45阅读
做了这么多年的分布式存储, 那到底什么是分布式系统?是一致性hash么? 是3副本策略的? 是一致性协议, paxos, raft, 最终一致性, 是CAP 理论么?我认为分布式系统首先要了解系统的模型, 就像我们对比lsm tree 和 b+ tree 哪一个在磁盘上表现更优的时候, 我们就必须是基于某一个模型来进行比较, 比如DAM (Disk access model)模型, DAM 模
原创
2021-03-04 23:46:02
155阅读
主从架构。以流式数据访问模式来存储超大文件，可以从MB乃至PB级大小，不能行于商用硬件集群上。是为高吞吐量应用优化的，这可能会以高时延为代价，低时延应选择HBase。HDFS所能够存储的文件总数受限于NameNode的内存总量。HDFS中的文件可能只有一个writer，且洗的数据总是将数据添加在文件的末尾。不支持具有多个writer的操作，也不支持在文件的任意位置进行修改（因为这么做效率较低）。文
转载
2023-09-20 07:19:14
39阅读
HDFS全称是Hadoop Distributed File System。作为分布式文件系统，具有高容错性的特点。它放宽了POSIX对于操作系统接口的要求，可以直接以流（Stream）的形式访问文件系统中的数据。HDFS能快速检测到硬件故障，也就是数据节点的Failover，并且自动恢复数据访问。使用流形式的数据方法特点不是对数据访问时快速的反应，而是批量数据处理时的吞吐能力的最大化。 
Hadoop分布式文件系统即Hadoop Distributed FileSystem。 当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区（Partition）并存储到若干台单独的计算机上，管理网络中跨越多台计算机存储的文件系统成为分布式文件系统（Distributed FileSystem）。&nb
转载
2023-07-13 11:24:07
49阅读
传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFS Server时，很容易造成服务器压力，造成性能瓶颈。
转载
2023-07-04 15:10:44
279阅读
