经过几年的积累,大部分中大型的企事业单位已经建立了比较完善的CRM、ERP和OA等基础信息化系统。这些系统的统一特点是:业务人员或者用户对数据库进行大量的增加、修改和删除等操作,即联机事务处理(Online Transaction Process,OLTP)。系统运行了一段时间以后,必然帮助企事业单位收集大量的历史数据。但是。在数据库中分散、独立存在的大量数据对于业务人员来说,只是一些无法看懒的天书。此时,如何把数据转化为业务人员(包括管理者)能够看懂的有用信息,充分掌握、利用这些信息,并且辅助决策,就是商业智能要解决的主要问题。
商业智能的实现有三个层次:数据报表、多维数据分析和数据挖掘。
1)数据报表
如何把数据库中存在的数据转变为业务人员需要的信息?大部分的答案是报表系统。简单说,报表系统是BI的低端实现。传统的报表系统技术上已经相当成熟,大家熟悉的Excel、水晶报表和Reporting Service等都已经被广泛使用。但是,随着数据的增多,需求的提高,传统报表系统面临的挑战也越来越多。
(1)数据太多,信息太少。密密麻麻的表格堆砌了大量数据。到底有多少业务人员细看过每一个数据?到底这些数据代表了什么信息、什么趋势?级别越高的领导,越需要简明的信息。
(2)难以交互分析、了解各种组合。定制好的报表过于死板。例如,我们可以在一张表中列出不同地区、不同产品的销量,另一张表中列出不同地区、不同年龄段顾客的销量。但是,这两张表无法回答诸如“华北地区中青年顾客购买数码相机类型产品的情况”等问题。业务问题经常需要多个角度的交互分析。
(3)难以挖掘出潜在的规则。报表系统列出的往往是表面上的数据信息,但是海量数据深处含有哪些潜在规则呢?什么客户对我们价值最大?产品之间相互关联的程度如何‘越是深层的规则,对于决策支持的价值越大,但是,也越难挖掘出来。
(4)难以追溯历史,形成数据孤岛。长期运行中产生的数据往往存在于不同地方,太旧的数据(例如一年前的数据)可能已被业务系统备份出去,导致宏观分析、长期历史分析难度很大。
显然,随着时代的发展,传统报表系统已经不能满足日益增长的业务需求了,企业期待着新的技术。数据分析和数据挖掘的时代正在来临。值得注意的是,数据分析和数据挖掘系统的目的是带给我们更多的决策支持价值,并不是取代数据报表。报表系统依然有其不呵取代的优势,并且将会长期与数据分析、挖掘系统一起并存下去。
2)多维数据分析
如果说在线事务处理(OLTP)侧重于对数据库进行增加、修改和删除等日常事务操作,在线分析处理则侧重于针对宏观问题全面分析数据,获得有价值的信息。
为了达到OLAP的目的,传统的关系型数据库已经不够了,需要一种新的技术叫做多维数据库。
多维数据库的概念并不复杂。举一个例子,我们想描述2003年4月份可乐在北部地区销售额10万元时,涉及到几个角度:时间、产品和地区。这些叫做维度。至于销售额,叫做度量值。当然,还有成本、利润等。
除了时间、产品和地区,我们还可以有很多维度,例如客户的性别、职业、销售部门和促销方式等。实际上,使用中的多维数据库可能是一个8维或者15维的立方体。虽然结构上15维的立方体很复杂,但是概念上非常简单。
数据分析系统的总体架构分为4个部分:源系统、数据仓库、多维数据库和客户端。
①源系统:包括现有的所有OLTP系统,搭建BI系统并不需要更改现有系统。
②数据仓库:数据大集中,通过数据抽取,把数据从源系统源源不断地抽取出来,可能每天一次,或者每3个小时一次,当然是自动的。数据仓库依然建立在关系型数据库上,往往符合“星型结构”模型。
③多维数据库:数据仓库的数据经过多维建模,形成了立方体结构。每一个立方体描述了一个业务主题,例如销售、库存或者财务。
④客户端:好的客户端软件可以把多维立方体中的信息丰富多彩地展现给用户。
3)数据挖掘
广义上说,任何从数据库中挖掘信息的过程都州做数据挖掘。从这点看来,数据挖掘就是BI.但从技术术语上说,数据挖掘(Data Mining)指的是:源数据经过清洗和转换等成为适合于挖掘的数据集。数据挖掘在这种具有固定形式的数据集上完成知识的提炼,最后以合适的知识模式用于进一步分析决策工作。从这种狭义的观点上,我们可以定义:数据挖掘是从特定形式的数据集中提炼知识的过程。数据挖掘往往针对特定的数据、特定的问题,选择一种或者多种挖掘算法,找到数据下面隐藏的规律,这些规律往往被用来预测、支持决策。
现举一个关联销售的案例。美国的超市有这样的系统:当你采购了一车商品结账时,售货员小姐扫描完了你的产品后,计算机上会显示出一些信息,然后售货员会友好地问你:我们有一种一次性纸杯正在促销,位于F6货架上,您要购买吗?这句话绝不是一般的促销。因为计算机系统早就算好了,如果你的购物车中有餐巾纸、大瓶可乐和沙拉,则86%的可能性你要买一次性纸杯。结果是你说:“啊,谢谢你,我刚才一直没找到纸杯。”
这不是什么神奇的科学算命,而是利用数据挖掘中的关联规则算法实现的系统。
每天,新的销售数据会进入挖掘模型,与过去N天的历史数据一起被挖掘模型处理,得到当前最有价值的关骐规则。同样的算法,分析网上书店的销售业绩,计算机可以发现产品之间的关联以及关联的强弱。
商业智能的基本概念:
商业智能系统应具有的主要功能:
商业智能的三个层次:
商业智能的软件工具集合:
实施商业智能的步骤: