原因：前两天服务器的硬盘出故障，报错：scsi 0:0:2:0: rejecting I/O to dead device，报这个错误的时候重启过一次，撑了一个月时间，现在直接导致整个文件系统崩溃。很明显是硬盘出问题了（一直在线用了4年多，而且I/O操作也非常频繁），原来有3块sas硬盘，其中两块500G的作了Raid1，另一块1T是备份并作了LVM，现在很难确定是哪一块有问题，估计寿命也都差不多
转载
2024-05-11 19:40:17
130阅读
区块链之分布式数据存储30年前，有一个未来学家提出未来世界的趋势是分布式将代替去中心化：一个机器蜘蛛的六条腿配置分布式的计算引擎，去掉中心化的大脑，结果是这个机器蜘蛛的六条腿之间能够协调自如。现在的发展正如他所预料的那样，整个世界也在朝着去中心化的路上前进，2008年金融危机之后的比特币的提出到今天区块链的蓬勃发展。这其中有一个最基础的技术就是分布式数据存储。区块链的分布式数据存储不像git代码管
转载
2024-05-08 19:53:20
22阅读
转自：http://bangbangba.blog.51cto.com/3180873/1712061GlusterFS是一款非常易于使用的分布式文件存储系统，实现了全部标准POSIX接口，并用fuse实现虚拟化，让用户看起来就像是本地磁盘一样。因此程序想从本地磁盘切换到GlusterFS时是不用修改任何代码的，做到了无缝切换。并且让多台电脑的程序看起来在使用同一块硬盘，简化了很多逻辑。如果您的应
常见的分布式文件系统有：FastDFS、GFS、HDFS、Lustre、Ceph、GridFS、TF等。传统方案方式弊端： 如果用户数量多，IO操作比较多，对磁盘访问压力很大；如果磁盘发生故障，会造成数据丢失；存储容量有限；分布式文件存储优点： 解决的传统方式的单点故障问题，如果某一个节点出现故障还有其他的节点可以用来读取和写入文件，可以提供数据的备份避免因避免损坏导致的文件丢
转载
2024-04-01 19:52:47
34阅读
目录现状&将来引擎本身的管理稳定性性能：性能上如何做到优于社区时间管理摄取技术信息用户信息、用户运营其他信息的获取现状&将来P99平响Java-Gccompact事务故障恢复时间集群瓶颈：
元数据管理单机承载能力相关重要组件
底层存储以下内容仅限于个人经验和个人接收的信息，持续补充中；我们能做什么引擎本身的管理稳定性正确性：数据不丢失；无逻辑错误；健壮性：让
转载
2024-06-14 22:45:25
30阅读
系统环境：操作系统:Centos6.5X86_64 fastdfs版本: FastDFS_v5.02.tarFastdfs_tracker IP:172.16.4.30Fastdfs_storage_s1 IP:172.16.4.31Fastdfs_storage_s2 IP:1
原创
2015-01-22 08:38:11
2260阅读
#!/bin/bash
#安装前准备，高可用最多需要九台机器，最少三台机器。其中admin节点，mon节点，osd节点可以存在一台机器上。
#在每天机器上将计算机名修改
hostnamectl set-hostname admin
hostnamectl set-hostname mon01
hostnamectl set-hostname mon02
hostnamectl set-h
转载
2024-10-12 10:19:45
112阅读
Centos7下创建NFS存储一. 开篇三问～ Q1: 这次为什么要尝试NFS？ A1: 因为kubernets的PV打算使用nfs作为存储路径，并且支持 ReadWriteMany 模式被多个node同时读写。Q2: NFS是什么? A2: Network File System的缩写，即网络文件系统。客户端通过挂载的方式将NFS服务器端共享的数据目录挂载到本地目录下。Q3. NFS为什么需要R
转载
2024-05-08 21:06:31
40阅读
1.2 Ceph的功能组件Ceph提供了RADOS、OSD、MON、Librados、RBD、RGW和Ceph FS等功能组件，但其底层仍然使用RADOS存储来支撑上层的那些组件，如图1-2所示。 图1-2 Ceph功能组件的整体架构下面分为两部分来讲述Ceph的功能组件。（1）Ceph核心组件在Ceph存储中，包含了几个重要的核心组件，分别是Ceph OSD、Ceph Monitor和
转载
2024-04-01 09:43:10
38阅读
导读前一段时间研究了一下分布式块存储Longhorn这个项目，Longhorn是完全基于K8s实现的分布式块存储，最大的特性就是他通过以微服务的方式（engine_instance+replicas）来提供存储服务，所以可用性极高。但本质还是通过iscsi把存储目录映射为一个盘挂到节点上然后再mount给容器使用，所以运行效率本身不太高，看到网上说的要比nfs可能要好一点，但是肯定是比不上本地磁盘
转载
2024-03-25 10:49:37
126阅读
FastDFS分布式文件系统环境介绍系统：centos6.5_64_mini FastDFS版本：FastDFS_v5.01 实验节点如下：（注：以下两个节点的安装及配置完全相同） SERVER1 IP:192.168.100.250 SERVER2 IP:192.168.100.251 1：安装定时同步相关# yum install -y ntpdate# c
转载
精选
2014-12-22 17:33:12
588阅读
MFS文件系统的组成1、 元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。2、 数据存储服务器chunkserver。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkser
推荐
原创
2016-12-01 11:41:51
3203阅读
点赞
4评论
7系统的简单ClusterFS
原创
2018-06-26 16:11:27
8389阅读
分布式存储系统面临的需求比较复杂，大致可以分为三类：非结构化数据：包括所有格式的办公文档、文本、图片、图像、音频、视频信息等。结构化数据：一般会存储在关系型数据库中，可用二位关系的表结构来对数据进行描述，数据的模式需要预先进行定义。半结构化数据：介于结构化数据和半结构化数据直接，HTML文档就属于半结构化数据。它一般是自描述的，与结构化数据的最大区别之处在于，半结构化的数据模式和内容混在一起，没有
转载
2023-11-19 17:21:39
124阅读
1. 首先NFS 挂载到ORACLE主机上，一般是为了做备份用的； 但在气象局挂载用于数据存储，这是有一定风险的做法，官方也不推荐这样操作！2. 具体挂载操作如下：mount -t nfs -o rw,bg,hard,rsize=32768,wsize=32768,vers=3,nointr,timeo=600,tcp,actimeo=0,nolock *.*.
转载
2024-04-18 06:55:31
161阅读
分布式文件存储1 FastDFS介绍FastDFS 是一个由 C 语言实现的开源轻量级分布式文件系统，作者余庆(happyfish100)，支持 Linux、FreeBSD、AID 等 Unix 系统，解决了大数据存储和读写负载均衡等问题，适合存储 4KB~500MB 之间的小文件，如图片网站、短视频网站、文档、app 下载站等，UC、京东、支付宝、迅雷、酷狗等都有使用。该软件作者是阿里巴巴大牛、
转载
2024-01-30 06:05:11
96阅读
分布式存储Ceph1、Ceph简介Ceph使用C++语言开发，遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企
转载
2023-12-27 14:43:41
113阅读
什么是分布式系统？ 简单来说，多台主机提供同一个服务，例如负载均衡集群，就是一个分布式系统。 什么是分布式存储？ 看看某宝，上面多少图片，如果使用传统的单机存储，需要准备多大的磁盘空间？读写性能如何提升？ 上图就是一个分布式存储的结构，此处存储节点不在是磁盘，而是多个主机组成，多个主机内部通信实现数据副本，客户端发来的请求发往前端，前端分发至后端，有点像负载均衡集群中的调度器（此处描述不精确，但便
转载
2023-10-16 21:44:56
171阅读
一、数据存储类型一般情况下，我们将存储分成了4种类型，基于本机的DAS和网络的NAS存储、SAN存储、对象存储。对象存储是SAN存储和NAS存储结合后的产物，汲取了SAN存储和NAS存储的优点。1.DASDAS将计算、存储能力一把抓，封装在一个服务器里。大家日常用的电脑，就是一个DAS系统。2.NAS如果将计算和存储分离了，存储成为一个独立的设备，并且存储有自己的文件系统，可以自己管理数据，就是N
转载
2023-10-25 21:32:00
175阅读
什么是分布式数据存储系统分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。如下图所示，当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。静下心来想一下，获取数据的整个过程与你到商店购物的过程是
转载
2024-04-29 12:57:16
118阅读
