大数据的应用开发过于偏向底层,具有学习难度大,涉及技术面广的问题,这制约了大数据的普及。现在需要一种技术,把大数据开发中一些通用的,重复使用的基础代码、算法封装为类库,降低大数据的学习门槛,降低开发难度,提高大数据项目的开发效率。

 

  大数据在工作中的应用有三种:与业务相关,比如用户画像、风险控制等;

 

  与决策相关,数据科学的领域,了解统计学、算法,这是数据科学家的范畴;与工程相关,如何实施、如何实现、解决什么业务问题,这是数据工程师的工作。什么是大数据技术架构

 

  数据源的特点决定数据采集与数据存储的技术选型,我根据数据源的特点将其分为四大类:

 

  第一类:从来源来看分为内部数据和外部数据;

 

  第二类:从结构来看分为非结构化数据和结构化数据;

 

  第三类:从可变性来看分为不可变可添加数据和可修改删除数据;

 

  第四类,从规模来看分为大量数据和小量数据

 

  大数据平台第一个要素就是数据源,我们要处理的数据源往往是在业务系统上,数据分析的时候可能不会直接对业务的数据源进行处理,而是先经过数据采集、数据存储,之后才是数据分析和数据处理。

 

  从整个大的生态圈可以看出,要完成数据工程需要大量的资源;数据量很大需要集群;要控制和协调这些资源需要监控和协调分派;面对大规模的数据怎样部署更方便更容易;还牵扯到日志、安全、还可能要和云端结合起来,这些都是大数据圈的边缘,同样都很重要。