当前事务处理还是以关系型数据库为主。数据分析、数据挖掘则需要以大数据的方式存储,以数据仓库的形式分析。

前几天有个朋友遇到了一个问题,如何定时收集多个交易数据库(oraclemysql)中的数据到大数据库(hadoop)中。我一直是做关系数据库数据传输的,应用ISFRAME帮他搭建了一个文件缓存的方式。效果很好。

首先在各个交易数据节点和hadoop节点部署了ISFRAME,并定义数据表到文件的传输。然后编写了一个数据入库程序,定时轮询文件目录,根据文件目录如到HBASEHive的数据表中。

大数据收集,大数据入库_大数据 数据仓库 数据收集 中间件

 

大数据收集1