In Memory Data Grid （IMDG）

内存数据网格被视为处理迅速、多样和大数据量的大数据的一种方式。将数据存储到内存中，并使其分布到多个服务器上，该方法的目的是更容易获取数据、改进其可扩展性和更好地进行数据分析。该方法早期的使用者仅包括Google、 Facebook 和 Twitter这样的互联网巨头，但是专家称现在该方法逐步成为主流。康涅狄格州斯坦福德市的Gartner公司称，内存计算​​技术​​在2013年战略技术发展趋势排在前十名。

内存数据网格(IMDG)或者分布式缓存的崛起是大数据技术发展的一部分。Gartner公司的报告显示，使用数据集成和数据质量工具的市场前景呈现上涨的趋势，2014年IT行业开支将达到38万亿美元。



Dave Brinker是华盛顿Bellevue公司的首席运营官，该公司是一家开发可扩展的数据网格软件公司。他说：“Web应用程序的工作负载飞速的增长是促进内存数据网格技术发展的真正原因。负载量如此大，以至于Web应用程序的流程中出现了运行瓶颈。”

IMDG可以通过将数据存储在内存中，而不是传统的数据库中来解决瓶颈问题。这样就可以改进相应时间，避免数据“交通堵塞”。

Mike Gualtieri是位于马萨诸塞州剑桥Forrester研究公司的首席分析师。他说，IMDG的主要应用案例是支持互联网网站和移动应用程序。“例如美国银行在内的许多大型企业已经使用内存分布式缓存多年。当用户进入到一个网站或服务时，他们越来越希望获得其快速的性能。”

Massimo Pezzini是Gartner公司的副总裁，称IMDG的特色是支持高性能和高可扩展性。

他说：“高性能的含义就是较存储于普通数据库的数据而言，用户可以更迅速的访问存储在内存中的数据。如果存在可扩展性问题，通过许多服务共享数据，你就可以借助应用程序来支持成上千上万甚至百万个用户。”

提高性能和可扩展功能，使IMDG备受电子商务、软件即服务(SaaS)和金融服务组织的欢迎。Pezzini解释，成功的SaaS平台拥有成千上万个用户，因此，其更需要高度可扩展架构。另一方面，电子商务供应商或提供者关注IMDG的性能：电子商务网站运行速度越快，就会有越多的收入。更多的金融服务公司正在使用IMDG技术来进行欺诈检测，通过分析大量历史数据来实时跟踪用户的信用卡使用行为。

不过，现在Pezzini认为IMDG不是主流技术。

他说：“作为一个独立的产品,IMDG技术经过三、四年后会成为主流技术，但是它已经成为嵌入式组件。越来越多的软件供应商引入嵌入式内存数据网格技术，以此来推动打包应用和其他形式软件的运行，像ESB技术、BPM工具和应用程序服务器。”

如今，一些大型供应商可以提供数据网格软件。举个Oracle Coherence的例子，其使用内存数据网格技术，并嵌入在Oracle SOA套件和Oracle BPM套件中。同样地，​​IBM​​的WebSphere eXtreme Scale提供了用于如WebSphere Commerce服务器中的分布式缓存。类似的产品也可以从Software AG(Terracotta的BigMemory)和Tibco软件(ActiveSpaces)中得到。

IMDG的市场可能相对较小，2011仅达到2.6亿美元。但Pezzini指出，2012年，一些数据网格厂商收入翻了一番，另有一些厂商则翻了两番。他预计2016或2017市场份额将达到十亿美元。

IMDG的主要推动力和面临的挑战

随着内存数据网格的发展，也面临诸多挑战。特别是，IMDG的使用者还不了解分布式计算技术，许多领域程序开发人员缺失。

Pezzini说：“内存数据网格是复杂的软件,需要先进的技术。这些技术很难找到，而且很昂贵。”他补充道，该问题因缺失标准而变严重了。市场中每个产品需要不同的技能,所以IMDG知识不能被重复使用。

IMDG学习曲线并没有就此止步

William Bain是ScaleOut Software的首席执行官，他说：“我们遇到的一个陷阱是，人们不能从概念上掌握内存数据涉及到了一组服务器。大多数IT人士认为其只在一个单独的服务器中运行。”

Bain说，这种误解会导致配置和部署上的错误。他建议，在完成IMDG之前，要保证在服务器之间有足够的网络带宽。

同时,有效的监控和管理策略是内存技术成功的关键。一个大型数据网格可能跨越几百个服务器，这是一个重大的管理挑战。

Forrester公司的Gualtieri解释说：“企业必须给他们的架构添加另一个层。一个层位于数据库和应用程序服务器之间。另一个层意味着要引进更多的技术对程序开发专业人员的创意进行管理和重新设计。”

尽管IMDG存在一些阻碍，Brinker预测,几个因素共同作用会推进IMDG成为主流技术。

他说：“内存的价格下降了许多，因此现在出现了许多内存系统。网络也变得更加可靠,所以，可以通过内存进行更多计算。在商业竞争压力的带动下，使得企业做决策的速度越来越快。”