本帖最后由 larryexchange 于 2017-1-22 21:44 编辑
如果说硬件是躯干的话,那软件就是灵魂了。继“用三台GEN8打造一个分布式分层存储-硬件篇”(https://www.chiphell.com/thread-1212326-1-1.html)之后,先奉上真正将一堆硬件转化为真正的分布式分层存储。
分布式存储的方案很多,有swift这样的对象存储,也有cinder(https://wiki.openstack.org/wiki/Cinder)这样的块存储。这里我将用新一代Windows Server(codename: Threshold)中内置的分布式存储功能(Shared Nothing Storage)来打造。
下面是软硬件及网络的简单介绍
--------------------------------
硬件部分:三台GEN8,每台配置如下:
CPU: E3-1230V2
内存: 16GB
系统盘: Seagate Pulsar.2 200GB
SSD层:LSI Nytro WrapDrive 400GB PCIe SSD (100GB x 4)
HDD层:Seagate 7200转 2TB HDD x 2网络:Netgear JGS524E 24口简单网管交换机,具备端口聚合能力。
软件部分:Windows Server Threshold Technical Preview
概念和逻辑架构
-----------------
下面是这个分布式存储的概念示意图:
1.jpg (89.08 KB, 下载次数: 7)
2015-1-7 22:29 上传
上面图中的三个方框就是三台GEN8啦,红框框之上的就是使用这个存储的应用或者虚拟化软件了。示意图中每个节点有两块磁盘但通过个部署Shared Nothing Storage的群集,每个节点的Storge Space的存储池中都能看到这个群集中所有节点上的所有磁盘,从而形成一个软件的共享存储总线(Windws Server 2012 R2或更早的版本都要求硬件共享存储)。然后在这个存储池中可以建立一个或多个虚拟磁盘。这些虚拟磁盘对外提供的服务事实上有很多种,包括SMB文件共享、iSCSI等等。
安装和配置步骤
-----------------
首先当然是在三台GEN8上都安装上Windows Server Threshold的操作系统软件,Windows Server的系统相信傻瓜都会安装。一路下一步就对了。不过作为Windows故障转移群集需要加入域工作,这点不要忘记。
此时查看每台GEN8上的服务器管理器还只能看到本机的4块SSD和2块HDD
2.png (199.4 KB, 下载次数: 5)
2015-1-7 22:52 上传
接着在每台GEN8上安装文件服务器角色和故障转移群集角色。并按照要求重启服务器。然后就是创建群集了。这里为了方便我用PowerShell命令行描述省得要做很多截屏。
#Create cluster
New-Cluster –Name CLUSTER-MSG8-1 –Node server-msg8-1,server-msg8-2,server-msg8-3 –NoStorage
# Set cluster properties
(Get-Cluster).DASModeEnabled=1复制代码
此时,打开每台GEN8的服务管理器,可以看到三台GEN8上面所有的12块SSD和6块HDD。
3.png (251.75 KB, 下载次数: 9)
2015-1-7 22:52 上传
接着我们就可以创建存储池了。
#Create storage pool and define storage tiers
New-StoragePool -StorageSubSystemFriendlyName *clustered* -FriendlyName Pool1 -EnclosureAwareDefault $true -AutoWriteCacheSize $true -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror -PhysicalDisk (Get-PhysicalDisk | ? CanPool -eq $true)复制代码
然后创建SSD和HDD的分层
New-StorageTier -StoragePoolFriendlyName Pool1 -FriendlyName SSDTier -MediaType SSD
New-StorageTier -StoragePoolFriendlyName Pool1 -FriendlyName HDDTier -MediaType HDD复制代码
当然你也可以通过图形化界面来创建上面的存储池,如下面的步骤:
4.png (186.02 KB, 下载次数: 8)
2015-1-7 22:58 上传
5.png (302.79 KB, 下载次数: 7)
2015-1-7 22:58 上传
不过如果你是通过图形化界面创建的存储池,还需要在PowerShell命令行中运行下面的命令来设置一些界面上没有的属性。
Get-StoragePool -FriendlyName pool1 | Set-StoragePool -EnclosureAwareDefault $true -AutoWriteCacheSize $true -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror复制代码
创建好的存储是长这个样子的
6.png (181.85 KB, 下载次数: 9)
2015-1-7 23:01 上传
如果看物理磁盘的那页能看到所有的18块磁盘
7.png (246.95 KB, 下载次数: 6)
2015-1-7 23:01 上传
有了存储池以后就是在上面创建虚拟磁盘了。
#Set ReFS Format Version
invoke-command -ComputerName server-msg8-1,server-msg8-2,server-msg8-3 {REG ADD HKLM\System\CurrentControlSet\Control\FileSystemUtilities /v RefsFormatVersion /t REG_DWORD /d 2 /f}
#Create virtual disks
$ssd = Get-StorageTier -FriendlyName SSDTier
$hdd = Get-StorageTier -FriendlyName HDDTier
New-Volume -StoragePoolFriendlyName Pool1 -FriendlyName VD1 -PhysicalDiskRedundancy 1 -FileSystem CSVFS_REFS -StorageTiers $ssd, $hdd -StorageTierSizes 340GB, 3800GB
#Disable ReFS Integrity Streams
set-fileintegrity C:\ClusterStorage\Volname1 –Enable $false复制代码
程序执行完以后的截图
11.jpg (181.93 KB, 下载次数: 9)
2015-1-7 23:10 上传
此时看群集管理器中,可以看到新建的虚拟磁盘。从下面的图中我们能够看到这个虚拟磁盘采用的是镜像,Column是2,条带是256KB。
12.jpg (84.9 KB, 下载次数: 8)
2015-1-7 23:13 上传
更多有关该虚拟磁盘的详细信息可以通过PowerShell命令行看到。
13.jpg (133.41 KB, 下载次数: 8)
2015-1-7 23:16 上传
我们还能看到这块虚拟磁盘SSD层和HDD层中的空间大小
14.jpg (119.13 KB, 下载次数: 7)
2015-1-7 23:21 上传
到此为止我们已经有了一部分布式的剧本冷热数据分层的存储。
后续有时间的时候我还会再奉上应用篇及性能测试。不过那个部分同2012和2012 R2上的Storage Space就没有大的分别了。