传统的商业智能工具在分析时是从存储在磁盘中的数据库、数据仓库或OLAP中获取数据;而顾名思义,基于内存分析(In-Memory Analytics)技术的商业智能工具则是从内存中直接获取分析数据:数据被预先载入内存,用户在执行查询及后继分析时,均直接从内存中获取所需数据。基于内存分析(In-Memory Analytics)技术的商业智能工具极大的提高了查询及分析的执行效率,可获得良好的交互及时性,从而体现了较好的易用性。
内存分析(In-Memory Analytics)技术与传统的设计缓存机制、建立索引及聚合表、MOLAP等效率优化技术不同。内存分析技术预先载入分析所需的绝大部分数据,甚至整个数据集市级别的数据,因此:1)它对所有的查询都是同等优化的,而不是对特定效率问题进行有限范围的查询优化;2)它不会像其他优化技术那样大幅增加磁盘存储空间的占用。
1、驱动因素
- 商业智能的数据分析技术目前不具有智能决策的能力,而是通过支持用户有目的的探查过程进行演绎推理,这种方式的特点是人机交互频繁,因此需要即时响应以跟进分析人员的思维;
- 精细化管理及量化决策使商业智能工具的使用范围深入到企业经营的各个运作环节,而不仅仅限于传统的面向高层管理及决策宏观分析方面。在运作环节的分析传统的周期性报表或OLAP查询是不够的,需要更加及时地交互分析;
- 商业智能前端逐渐采用Web2.0技术,Web前端的交互技术的革新的需要在处理机制上加以支撑才能达到良好的效果;
2、支撑条件
- 内存处理技术(如内存数据库)逐渐成熟,位于内存的分析技术并非新的软件技术;
- 硬件以摩尔定律的速度发展,内存芯片不但容量增大,而且价格不断下降;
- 64位寻址机制与32位相比,使OS及软件系统占用必要的内存之后,可以为数据处理留下更加巨大的空间,下图对64位/32位机器上商业智能系统部署之后的内存地址空间进行了对比:
3、处理机制
4、参考文档
- Take Advantage of In-Memory Analytics
- In-Memory Analytics
- In-Memory Analytics for better DW performance
- In-Memory Analytics is Beginning to Mature
- In-Memory BI Upgrades Point to Mainstream User Adoption