数据中心存储备份网络架构数据中心存储技术

转载

mob64ca14089531 2024-01-17 09:02:53

文章标签 数据中心存储备份网络架构 IP 服务器文件系统 文章分类 架构后端开发

数据中心存储技术-下

1.存储架构介绍

随着主机，磁盘，网络等技术的发展，数据存储的方式和架构也在一直的变化

到目前为止已经有了很多中存储方式，如下图所示

数据中心存储备份网络架构数据中心存储技术_数据中心存储备份网络架构

封闭系统的存储：封闭系统指大型机
开放系统的存储：开放系统指基于windows，Linux等操作系统的服务器

开放系统的存储分为两种：

内置存储：内置存储直接装置在设备内部，不可更换
外挂存储：通过卡槽、插口、线缆等插在设备内部或连接到设备外部，可以随意更换的
例如：笔记本内置硬盘，U盘，移动硬盘等

外挂存储又分为两种：

直连式存储：直接连接到设备的存储，DAS
网络化存储：通过网络连接到设备的存储，又分为网络接入存储（NAS），存储区域网络（SAN）

在传统网络架构中，存储架构归纳为常见的三种：DAS，NAS，SAN

后续我们将重点学习这三种架构。

2.存储服务类型

针对不同的应用场景，存储方案也会不同，因此有了三种存储服务类型：

块存储：将存储空间按照固定大小分为多个空间块，直接把空间块映射给主机使用。直观的感受是主机拿到了块存储空间后不能直接使用，必须将空间格式化，形成文件系统后，才能使用
优点：读写快
缺点：无法共享文件，用户无法共用一份存储空间
文件系统存储：将存储空间首先格式化，形成对应的文件系统，然后将拥有文件系统的空间映射给主机使用，类似于文件共享，主机看到的空间直接是一个文件夹，不需要任何处理，直接可以使用
优点：可以共享文件，多个用户可以共用同一份存储空间
缺点：读写满
对象存储：对象存储是为了克服快存储和文件存储的缺点，发扬各自的优点出现的
对象存储会将元数据（数据的属性，例如该文件的大小、修改时间、存储路径等）和普通数据分开存储，在读取数据时首先读取元数据，根据元数据中的信息，并行分布式读取数据。随着存储节点数量越来越多，读写性能会越来越好，以此达到高性能读写的目的。
另一方面，对象存储需要在服务器中安装对象存储软件，软件都是有专门的文件系统，因此也可以实现文件共享，很好的结合了块存储和文件存储的优点

最后为什么对象存储兼具块存储与文件存储的好处，还要使用块存储或文件存储呢？

1、有一类应用需要存储直接裸盘映射，创建专用的文件系统来使用。例如数据库。因为数据库需要存储裸盘映射给自己后，再根据自己的数据库文件系统来对裸盘进行格式化的，所以是不能够采用其他已经被格式化为某种文件系统的存储的。此类应用更适合使用块存储。

2、对象存储的成本比起普通的文件存储还是较高，需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量，只是为了做文件共享的时候，直接用文件存储的形式好了，性价比高。

3.存储协议介绍

目的常用的存储协议有：SCSI，FC，iSCSI，FCoE

SCSI：SCSI协议是主机与存储磁盘传输数据的基本协议

在SCSI中有两个角色：Initiator（启动器），Target（目标器）

主机和存储磁盘连接时，主机作为启动器，存储作为目标器，启动器会主动发送指令连接目标器，基于启动器和目标器之间的连接使用SCSI指令进行数据传输

缺点：传输距离短，SCSI-1协议最大传输距离6米

FC：FC是光纤通道（Fiber Channel）的简称，用于连接服务器和存储设备，服务器和存储之间基于FC通道通信

但FC协议还是基于SCSI协议，因为FC其实是把SCSI指令封装在FC数据帧中，通过FC通道传输

FC和SCSI的关系

SCSI协议是FC的上层协议，相当于FC协议的子集

FC是基于光纤传输，相比于SCSI来说，速率要快得多，且传输距离不受限制

缺点：FC需要使用光纤线缆和专用的FC交换机、FC卡，造价比较昂贵

iSCSI：iSCSI定义了如何在IP网络中传输存储数据，其实就是将SCSI指令封装在IP报文中进行传输

SCSI 结构基于C/S模式，设备之间要通过SCSI总线连接，所以距离受限，通常距离很近,而要想进行远距离的数据存储就要选择FC（Fabre Channel）光纤通道，传输速度超快而且距离不受限制但是光纤通道的价格非常的高昂，所以IBM公司就开发了ISCSI协议，基于IP传输SCSI指令。

优点

ISCSI的传输距离不受限制，只要IP可达，就可以通信，且IP网络的造价比FC网络的造价便宜的多，符合许多公司的需求。

FCoE：FC over Ethernet

背景：FCoE想要把以太网的扩展性和FC的高可靠性，高速率结合，于是提出了FCoE

原理：FCoE就是将FC数据帧封装在Ethernet（以太网）中，实现FC在以太网中传输。但这个以太网必须是增强型无损以太网。目前由于各种原因，FCoE已经很少使用

4.DAS存储

Direct Attached Storage：直连附加存储

定义：DAS是1个或多个直接连接到使用它们的服务器上的指定存储设备，这些存储设备为服务器提供块存储服务

数据中心存储备份网络架构数据中心存储技术_IP_02

分类：根据存储和主机的位置关系，分为内部DAS和外部DAS

内部DAS：存储设备通过主机的内部总线连接到主机内部，例如电脑的内部硬盘

外部DAS：主机通过线缆和外部存储设备相连，大多数情况下通过FC，SCSI协议通信。与内部DAS相比，外部DAS克服了内部DAS对距离和数量的限制。

数据中心存储备份网络架构数据中心存储技术_数据中心存储备份网络架构_03

DAS特点

存储直接连接到主机，使用SCSI协议传输数据
数据分散管理（多个存储设备之间需要分散管理）
存储容量利用率低（DAS设备端口数量有限，连接的主机有限，有时会导致主机使用的存储空间过剩）
扩展性差（可连接到主机的端口数量有限，距离有限制）
共享性较差（DAS设备之间无法共享资源，容易导致资源孤岛）

资源孤岛：有些设备存储空间过剩，有些设备存储资源紧张

5.SAN存储

1.介绍

Storage Area Network：存储区域网络，是一个用在服务器和存储之间的，专用的，高性能的网络体系

SAN采用可扩展的网络结构连接服务器和存储设备，可以同时连接多个服务器及多个存储设备。

每一个存储设备不隶属于某一个服务器，服务器可以通过SAN网络平等的访问所有存储资源

数据中心存储备份网络架构数据中心存储技术_服务器_04

SAN网络中使用到的典型传输协议是iSCSI和FC，其中FC特别适合，因为FC既能传输大块数据，又能实现远距离传输。但是价格相对比较贵。

2.SAN和DAS的区别

SAN存储和DAS存储一样，为主机提供块级存储服务。

不同的是SAN是通过网络连接主机，而DAS是通过单一的线缆连接主机。

导致SAN可以同时为大量主机提供存储服务，且可以实现远距离传输。

其他区别如下：

Item	DAS	SAN
协议	SCSI 协议	多种协议：FC，iSCSI，FCoE
应用场景	只有几台服务器的中小型企业	应用在诸如关键数据库，集中存储，备份和灾难恢复等中端和高端存储环境中
优点	易于部署，投资小	高可靠性，高性能，高扩展性，强大的兼容性，集中管理
缺点	可扩展性差，资源浪费，管理困难，性能瓶颈	投资大

3.FC SAN 和 IP SAN

一个完整的SAN系统包括服务器，网络，存储设备等三部分，其中存储网络可以是FC网络，IP网络

根据网络类型的不同，SAN网络可以分为两种：FC SAN ，IP SAN

FC SAN使用的是FC网络和FC协议，价格较高，但是性能极好
IP SAN使用IP网络和iSCSI协议，价格比FC SAN低，扩展性极好

数据中心存储备份网络架构数据中心存储技术_服务器_05

FC SAN 和 IP SAN的区别

描述	FCSAN	IPSAN
网络速度	4Gb、8Gb、16Gb	1Gb、10Gb、40Gb
网络架构	单独建设光纤网络和HBA卡	使用现有IP网络
传输距离	受到光纤传输距离的限制	理论上没有距离限制
管理、维护	技术和管理较复杂	与IP设备一样操作简单
兼容性	兼容性差	与所有IP网络设备都兼容
性能	非常高的传输和读写性能	目前主流1Gb，10Gb正在发展
成本	购买（光纤交换机、HBA卡、光纤磁盘阵列等）、维护（培训人员、系统设置与监测等）成本高	与FC－SAN相比，购买与维护成本都较低，有更高的投资收益比例
容灾	容灾的硬件、软件成本高	本身可以实现本地和异地容灾，且成本低
安全性	较高	较低

6.NSA存储

Ntework Attached Storage：网络附加存储，即将存储设备连接到现有的IP网络中，直接提供数据和文件访问

作用：NSA主要是为网络中的主机提供文件共享，说白了就是个高级的文件服务器。对外提供文件级存储

数据中心存储备份网络架构数据中心存储技术_文件系统_06

支持文件共享协议：CIFS（用于Windows系统），NFS（用于Linux系统）

如果文件系统已经设置为CIFS共享，再添加NFS共享，则NFS共享只能设置为只读。
如果文件系统已经设置为NFS共享，再添加CIFS共享，则CIFS共享只能设置为只读。

协议	传输协议	客户端	故障影响	效率	支持的操作系统
CIFS	TCP/IP	操作系统集成不需要其它软件	大	高	Windows
NFS	TCP or UDP	需要其它软件	小：交互进程中断可自动恢复连接	低	Unix

NSA优点：

支持全面获取信息：NAS实现高效的文件共享，支持多对一和一对多配置。多对一配置允许NAS可同时被多个客户端访问；一对多配置允许一个客户端可同时连接多个NAS设备
提高效率：NAS设备提供专用的操作系统提供文件服务，可以减少通用文件服务器的文件服务操作，提高通用服务器的利用率，消除通用服务器访问文件时的瓶颈。
提高灵活性：NAS使用行业标准协议，对UNIX客户端和Windows客户端具有很好的兼容性。不同类型的客户端在访问同一资源时能灵活的提供服务。
集中存储：集中的数据存储，减少客户端工作站的重复数据，简化数据管理，并提供更高的数据保护。
简化管理：提供一个控制台集中管理，可以有效地管理文件系统。
可扩展性：根据不同的利用率配置和各种业务应用可提供高性能、低延迟扩展。
高可用性 - 通过本地集群：NAS设备可以使用集群技术用于故障切换。 NAS使用冗余的网络组件，提供多连接选项。复制功能和恢复选项丰富，可实现数据高可用性。
安全：通过用户身份验证、文件锁定和符合业界标准的安全架构相结合的方式确保数据安全性。