根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下: 1、 需要将核心数据从30多个系统同步到大数据平台的kafka组件。 2、 确保数据复制的实时性(秒级)和数据的准确性 3、 复制的数据需要加上时间,操作类型等标签,便于后端应用识别 4、 以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响 5、 入kafka的数据格式可灵活配置,以便更好的适配后端应用 6、 需要具备数据操作统计和数据比对功能,便于核对数据的准确性
随着大数据时代的到来,省厅下辖各级公安机关警综系统采集汇聚的数据量日益巨大、数据结构更加复杂,增长迅速。目前,省厅还未建立有效的警综系统数据汇聚手段,原有的数据抽取整合工具在传输海量结构化数据时效率低下,且无法满足各类数据抽取整合的需要。为解决因数据分散导致的资源共享不及时、利用率不高等问题,省厅急需开展警综系统数据汇聚整合工具建设,实现对下辖各级公安机关警综系统的高效抽取汇聚和关联整合,进一步丰富全警实战应用需要。
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号