分层技术:目标已定 如何实现?

然而,未来根本不是有保证的。为了实现这一目标,我们必须找个好的方法有效地将数据从7200转驱动器中迁移到SSD中。我不认为将固态存储放入旋转存储中作为额外的缓存是一个正确的方法。然而,还是有一些相当有趣的存储系统是使用SSD作为缓存的。

整合这两种类型存储(低成本,大容量的旋转驱动器和SSD)最显著的方法是使用分层技术。分层技术成功的关键就在于能够 在两个存储层中快速的迁移数据。比如,你可以从一个应用中拦截open()调用程序一直到开始迁移不同层中的数据。如果结合一系列应用,而且这些应用在运 行中使用高速的存储设备,你就可以得到全部效益却不需花费全部费用。为此,存储系统和分层必须识别当何时需要做数据迁移,然后快速地执行。

另外,在一个应用运行之前,数据或从低速存储器中被迁移到高速存储器中。这被称作为“数据迁移升级”(Staging the data)。这种方法能用于HPC中并产生良好的影响,因为应用使用排程器(Job scheduler,也称为资源管理器) 来运行程序,当用户指定一个事件时,它是如何运行的,需要多少处理器来工作,需要多大的内存,哪个文件被用作输入,哪个文件被用作输出。以上这些,用户都 能够提交自己的排程器中。排程器能够决定用户指定要求的任务在何时何运行。排程器还能从低速存储器中复制输入文件到高速存储器中,以便为将要运行的应用做 准备。当应用运行结束的时候,排程器可将文件从高速存储器中再迁移回低速存储器中来。

但是分层的方法比使用作业调度器更好,因为它们发生在用户不知道的背后。然而,现有的分层软件不见得有能力快速识别数据 何时需要迁移到高速存储器并快速实现这一行动,所以它有极限值。大多数的分层软件需要存储了解文件中数据块的使用模式。过一段时间之后,可能会将它们迁移 到基于测定的高速存储器中(也可能是预计的)。因此,现在真正需要的是更出色的分层软件,而不是目前这样不给力的软件。

现有磁盘不给力 新老结合才王道

这只是一个预言……我很容易错误的认为我是对的,但是我认为我们有必要思考未来存储的发展方向。我们目前着眼于工作负 载,更多的是基于IOPS。但与此同时我们还需要更大的容量。可关键在于,当运行应用的时候,我们真的仅需要高IOPS性能,因此我们可以把一部分存储做 成一个基于固态盘的小型系统,在合理价位上具有高IOPS性能,但同时只有较低的存储容量。然后,我们再建一个容量很大但是性能很低的存储池,使用大容量 和低成本的7200转驱动器。因此,我认为15000转的驱动器将会于未来几年在市场上消失。

另外,成功的关键还在于将两个存储池通过中间件结合在一起,确保数据能够容易的在两方之间迁移。使用分层软件或许是最好 的解决方案。但是现有的软件实在很糟糕。因因此,需要做的就是快速地确定数据在何时必须从低速存储器中迁移到高速存储器然后再迁移回来。由于数据迁移的原 因,这不会具有太高的应用性能。

当前的分层软件还做不到这一点,但是我希望厂商能知道这些问题,以便改进它们。

分层技术:目标已定 如何实现?

然而,未来根本不是有保证的。为了实现这一目标,我们必须找个好的方法有效地将数据从7200转驱动器中迁移到SSD中。我不认为将固态存储放入旋转存储中作为额外的缓存是一个正确的方法。然而,还是有一些相当有趣的存储系统是使用SSD作为缓存的。

整合这两种类型存储(低成本,大容量的旋转驱动器和SSD)最显著的方法是使用分层技术。分层技术成功的关键就在于能够 在两个存储层中快速的迁移数据。比如,你可以从一个应用中拦截open()调用程序一直到开始迁移不同层中的数据。如果结合一系列应用,而且这些应用在运 行中使用高速的存储设备,你就可以得到全部效益却不需花费全部费用。为此,存储系统和分层必须识别当何时需要做数据迁移,然后快速地执行。

另外,在一个应用运行之前,数据或从低速存储器中被迁移到高速存储器中。这被称作为数据迁移升级Staging the data)。这种方法能用于HPC中并产生良好的影响,因为应用使用排程器(Job scheduler,也称为资源管理器) 来运行程序,当用户指定一个事件时,它是如何运行的,需要多少处理器来工作,需要多大的内存,哪个文件被用作输入,哪个文件被用作输出。以上这些,用户都 能够提交自己的排程器中。排程器能够决定用户指定要求的任务在何时何运行。排程器还能从低速存储器中复制输入文件到高速存储器中,以便为将要运行的应用做 准备。当应用运行结束的时候,排程器可将文件从高速存储器中再迁移回低速存储器中来。

但是分层的方法比使用作业调度器更好,因为它们发生在用户不知道的背后。然而,现有的分层软件不见得有能力快速识别数据 何时需要迁移到高速存储器并快速实现这一行动,所以它有极限值。大多数的分层软件需要存储了解文件中数据块的使用模式。过一段时间之后,可能会将它们迁移 到基于测定的高速存储器中(也可能是预计的)。因此,现在真正需要的是更出色的分层软件,而不是目前这样不给力的软件。

现有磁盘不给力 新老结合才王道

这只是一个预言……我很容易错误的认为我是对的,但是我认为我们有必要思考未来存储的发展方向。我们目前着眼于工作负 载,更多的是基于IOPS。但与此同时我们还需要更大的容量。可关键在于,当运行应用的时候,我们真的仅需要高IOPS性能,因此我们可以把一部分存储做 成一个基于固态盘的小型系统,在合理价位上具有高IOPS性能,但同时只有较低的存储容量。然后,我们再建一个容量很大但是性能很低的存储池,使用大容量 和低成本的7200转驱动器。因此,我认为15000转的驱动器将会于未来几年在市场上消失。

另外,成功的关键还在于将两个存储池通过中间件结合在一起,确保数据能够容易的在两方之间迁移。使用分层软件或许是最好 的解决方案。但是现有的软件实在很糟糕。因因此,需要做的就是快速地确定数据在何时必须从低速存储器中迁移到高速存储器然后再迁移回来。由于数据迁移的原 因,这不会具有太高的应用性能。

当前的分层软件还做不到这一点,但是我希望厂商能知道这些问题,以便改进它们。