随着区块链技术在全球范围内的风靡，越来越多的分布式应用开始成长起来，并逐渐成为一种主流趋势。未来是大数据的时代，因此利用区块链技术解决数据存储问题便成了重中之重。然而，区块链在数据存储方面却表现出了发展瓶颈。正是基于此，由Protocol Labs创建的IPFS/Filecoin项目应运而生。IPFS（星际文件系统）是为了取代传统互联网的HTTP（超文本传输协议），而Filecoin分布式存储网络
转载
2023-08-16 22:04:17
45阅读
IPFS分布式云存储是一种基于IPFS（InterPlanetary File System）技术的分布式存储方案，能够有效地存储和管理大量数据，并实现安全和可靠的数据共享。在本文中，我将向小白开发者介绍如何使用IPFS实现分布式云存储，并提供相应的代码示例。
整体流程如下：
| 步骤 | 描述 |
|------|------|
| 1 | 安装IPFS节点 |
| 2 | 初始化IPF
原创
2024-04-26 10:30:34
100阅读
### 基于IPFS的分布式存储
#### 什么是IPFS？
IPFS（InterPlanetary File System）是一个点对点的分布式文件系统，可以使互联网更快、更安全地存储和访问文件。它使用内容寻址来定位数据，而不是像传统的基于位置的寻址方式，这使得数据在网络中更容易地传播和访问。
#### 实现基于IPFS的分布式存储的流程
| 步骤 | 操作 |
| --- | ---
原创
2024-05-21 10:49:27
187阅读
IPFS技术确实厉害，而Filecoin也确实是个伟大的项目，那么为什么市面上很多人都说IPFS是骗局，是低级的韭菜收割机呢？
IPFS被认为是骗局原因，如何防止被骗！
最近在发文后部分粉丝留言被骗，现在来说说就IPFS（Filecoin）方面被认为是骗局的五大原因，以及如何防止被骗，练就火眼金睛。IPFS技术确实厉害，而Filecoin也确实是个伟大的
转载
2023-12-13 20:00:03
15阅读
分布式存储架构是一个复杂的系统工程，针对特定应用的数据存储有不同的系统架构解决方案。不同的存储方法会影响存储性能、存储成本、冗余度、工程复杂性等。分布式存储的历史分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来解决大规模，高并发场景下的 Web 访问问题。
原创
2021-07-09 11:02:00
781阅读
分布式存储架构是一个复杂的系统工程，针对特定应用的数据存储有不同的系统架构解决方案。不同的存储方法会影响存储性能、存储成本、冗余度、工程复杂性等。分布式存储的历史分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来解决大规模，高并发场景下的 Web 访问问题。它采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易
原创
2022-02-24 15:44:45
1277阅读
导读前一段时间研究了一下分布式块存储Longhorn这个项目，Longhorn是完全基于K8s实现的分布式块存储，最大的特性就是他通过以微服务的方式（engine_instance+replicas）来提供存储服务，所以可用性极高。但本质还是通过iscsi把存储目录映射为一个盘挂到节点上然后再mount给容器使用，所以运行效率本身不太高，看到网上说的要比nfs可能要好一点，但是肯定是比不上本地磁盘
转载
2024-03-25 10:49:37
126阅读
在现代互联网应用中，随着数据量的不断增加和应用的复杂性，分布式计算和分布式存储成为了关键的技术。Kubernetes（简称K8S）作为一种容器编排引擎，在实现分布式计算和存储方面发挥着重要作用。本篇文章将向你介绍如何在K8S上实现分布式计算和分布式存储。
整体流程：
步骤 | 操作
---|---
1 | 搭建Kubernetes集群
2 | 部署分布式计算框架
3 | 部署分布式存储系统
4
原创
2024-05-16 10:19:21
206阅读
分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。优点如下：1. 高性能一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一
转载
2024-01-25 20:49:46
67阅读
什么是分布式系统？ 简单来说，多台主机提供同一个服务，例如负载均衡集群，就是一个分布式系统。 什么是分布式存储？ 看看某宝，上面多少图片，如果使用传统的单机存储，需要准备多大的磁盘空间？读写性能如何提升？ 上图就是一个分布式存储的结构，此处存储节点不在是磁盘，而是多个主机组成，多个主机内部通信实现数据副本，客户端发来的请求发往前端，前端分发至后端，有点像负载均衡集群中的调度器（此处描述不精确，但便
转载
2023-10-16 21:44:56
171阅读
什么是分布式数据存储系统分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。如下图所示，当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。静下心来想一下，获取数据的整个过程与你到商店购物的过程是
转载
2024-04-29 12:57:16
118阅读
分布式存储分布式系统概述
分布式存储分布式系统（Distributed Storage Distributed System）是一种基于多台机器共同合作完成数据存储和计算任务的系统。在这种系统中，数据会分布在不同的存储节点上，通过网络进行数据传输和通信，实现数据的高可用性、可扩展性和容错性。Kubernetes（简称K8S）作为一种容器编排和管理平台，可以帮助我们轻松地部署和管理分布式存储分布式
原创
2024-05-22 09:55:20
262阅读
分布式文件存储1 FastDFS介绍FastDFS 是一个由 C 语言实现的开源轻量级分布式文件系统，作者余庆(happyfish100)，支持 Linux、FreeBSD、AID 等 Unix 系统，解决了大数据存储和读写负载均衡等问题，适合存储 4KB~500MB 之间的小文件，如图片网站、短视频网站、文档、app 下载站等，UC、京东、支付宝、迅雷、酷狗等都有使用。该软件作者是阿里巴巴大牛、
转载
2024-01-30 06:05:11
96阅读
分布式存储Ceph1、Ceph简介Ceph使用C++语言开发，遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企
转载
2023-12-27 14:43:41
113阅读
目录一、分布式文件系统二、FastDFS简介三、FastDFS整体架构四、文件上传流程 五、文件下载流程六、文件删除流程七、文件同步机制八、总结一、分布式文件系统分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存
转载
2024-03-04 07:16:21
53阅读
大数据基础 1.什么是大数据 短时间内快速的产生海量的多种多样的有价值的数据 2.大数据技术 2.1 分布式存储 2.2 分布式计算 ① 分布式批处理（无法实现预测） 存一段时间的数据，等到将来某一时刻时再进行处理 ② 分布式流处理（实时处理）（无法实现预测） 数据不需要攒，直接处理，每产生一条数据，立马对这条数据进行处理。 2.3 机器学习 可以实现预测 3.分布式存储原理 3.1主要概念：元数
转载
2023-12-06 23:25:30
108阅读
Q: 现在领域内对于分布式存储的应用场景是否有比较明确的分类?比如冷热，快慢，大文件小文件之类的?分布式存储的应用场景相对于其存储接口，现在流行分为三种:1. 对象存储: 也就是通常意义的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展，如七牛、又拍，Swift，S3、2. 块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接
转载
2024-05-09 22:08:42
148阅读
分布式存储系统面临的需求比较复杂，大致可以分为三类：非结构化数据：包括所有格式的办公文档、文本、图片、图像、音频、视频信息等。结构化数据：一般会存储在关系型数据库中，可用二位关系的表结构来对数据进行描述，数据的模式需要预先进行定义。半结构化数据：介于结构化数据和半结构化数据直接，HTML文档就属于半结构化数据。它一般是自描述的，与结构化数据的最大区别之处在于，半结构化的数据模式和内容混在一起，没有
转载
2023-11-19 17:21:39
124阅读
好久没写blog了，最近大脑不知怎么的，不在状态，什么都学不进去，什么都想不进去，不发牢骚了，进入正题~
software:FasDFS.1.12
OS:ubuntu server 7.10
测试机器
NAS1：192.168.1.2
NAS2：192.168.1.
原创
2008-11-17 13:44:06
2612阅读
点赞
4评论
点点滴滴
原创
2016-07-31 11:35:05
854阅读
