大数据平台统一管理、集中存储大数据资源，满足高并发，海量数据对高性能计算能力和大容量存储能力的需求，提供数据采集，数据计算，数据存储，数据分析，数据可视化等大量开放能力，确保各系统之间数据的互联互通和共享，为数据的全链条透明化、运营决策的高度智能化提供依据，尽早建立大数据平台具有重要意义。

　　构建大数据平台的必要性

　　大数据平台承载所有数据的管理，为上层应用提供数据支撑。传统的开发模式中，各个应用开发独立进行，各自沉淀自己的数据。各个应

　　用的数据缺乏整合，形成数据孤岛，后续无法沉淀数据资产。同时，因为没有一个统一的大数据平台，各个应用都会有自己的数据存储和计算体系，存在大量的重复建设。

　　以数据中台为核心的上层智能应用的开发，离不开大数据平台的支持。大数据平台提供统一的数据数据存储，计算能力。上层应用不需要再重复开发，只需要使用数据中台提供的能力。同时，多个上层应用的数据也集中沉淀到一起，形成有效的数据资产。

　　大数据集成子系统

　　大数据平台需要提供数据采集能力，完成从传统数据库到大数据平台的数据采集，包含批量采集和基于流处理的实时采集，平台提供如下能力：

　　批量数据采集：大数据平台支持数据批量采集，对于大量、实时性要求不高的数据适宜采用定时执行批量采集。

　　实时数据采集：对于实时性要求较高的数据，支持实时数据采集的方式，保障平台数据及时性。

　　互联网数据采集：互联网的数据采集方式主要以页面文本或文档形式的数据为主，为了兼容不同类型的互联网输入方式，一般先将数据进行流式数据清洗后，再送到搜索引擎或者其他数据库中。

　　无论是大数据平台的流程，还是业务分析平台的建设，必须要注意保证平台的性能：大数据分析平台的性能一定要保证高效，在数据量激增的情况下可以支撑海量数据分析。