物联网感知大数据处理中的关键技术主要包括以下7种:

1. 海-网一云分层存储架构:系统需要存储采样数据的最新值以及历史序列,以便进行复杂的数据分析和对复杂事件实现智能化感知处理。为了对海量感知数据进行行之有效的存储处理,需要将集海数据管理与云数据管理双重优势于一体的大数据存储技术,进行基于网络协同的统一数据存储与架构处理。

2. 统一的异构传感器数据接入技术:利用传感器原始采样数据的智能分析技术,来支持异构传感器的接入和统一的标准输出;通过提取关键数据来获得特定数据具有逻辑语义,并基于双层协同的原始采样数据分散式溯源存储,来满足各类应急监控传感器及设备(如遥感、视频、交通、气象、电力、水文、地质等)的标准接入要求。

3. 海量传感器感知数据云存储技术:通过传感器统一时空数据库,实现时态-地理空间采样数据的内核表示、时空索引、时空计算、复杂逻辑条件快速查询;进而通过海量时空数据库结点构成并行分布式的传感器时空数据库集群,并通过全局时空索引、全局关键字索引、全局值索引,完成海量应急传感器采样数据流的存储以及多模方式(关键词、时空约束、数值约束)的快速查询。

大数据平台对接物联网数据 物联网大数据处理_大数据平台对接物联网数据

4. 面向感知数据的多模态实时搜索引擎:为了对海量传感器流式数据的异构性、时空相关性、连续序列性进行有效的处理,需要通过多模态实时搜索引擎,在多模态(关键词、时空、状态值、属性值)数据类型、查询语言、实时索引的基础上,实现海量传感器感知数据流的统一快速检索与查询处理。

5. 海量感知数据的统计分析与数据挖掘:实现处于数据库内核级的海量感知数据的并行统计分析与数据挖掘技术。采用统一的统计数据结构和统计算法与机制,实现并行的联机分析处理(on-line analytical processing,OLAP);采用基于时空受限环境(特定地形和道路)的线索传递预测模型进行线索检索与确认,实现基于时空线索的事件推理。

6. 复杂事件(如应急事件)探测技术:群体复杂时空查询与统计分析、情报提炼、态势分析技术。多数情况下,需要对大量物理目标的群体行为进行分析,以获得更加有意义的信息,并进一步进行态势分析和预测等;需要设立各种必要的统计与分析数据结构,实现对群体行为的持续统计与分析。在此基础上,实现相关的情报提取和趋势预测。

7. 物联网监控目标的统一定位、状态跟踪、多资源多任务的时空优化调度技术:实现资源的(静态、动态)位置和状态的跟踪监控与统一管理以及基于交通状况与灾害状况统计和导航规则库的多因素融合型导航方法。

其核心关键技术可进一步凝练为:通过海-云分层协同的数据管理技术,应对实时密集采集及计算带;实现多模态(关键词、时空、数值约束)实时搜索技术,应对感知数据的时空性、数值性、实时性带来的挑战。