海量电力设备监测数据的存储和特征分析

原创

Coding路人王 2022-10-27 11:01:08 ©著作权

文章标签 大数据 python 人工智能 java 数据分析 文章分类 虚拟化云计算

©著作权归作者所有：来自51CTO博客作者Coding路人王的原创作品，请联系作者获取转载授权，否则将追究法律责任

一、电力设备在线监测的目的及意义

1、项目背景

电力设备在线检测是指在不停电的情况下，对电力设备状况进行连续或周期自动检测监视。运用传感器技术、广域通信技术、信息处理技术
实时感知-->监视预警-->分析诊断-->评估预测
电力设备在线检测是实现电力设备运行检修管理、提升生产运行管理精益化的重要手段，对提升电网智能化水平，实现电力设备状态运行管理具有积极而深远的意义。
例如：海量数据处理平台
变压器油色谱监测，容性设备在线检测，数字化变电站，山火监测，雷电定位系统，覆冰预警系统，SCADA系统。

2.数据特点：

规模巨大：TB->PB 【一个省级电网公司，150+变电站，150TB、day】
数据处理速度：性能瓶颈，实时监控画面刷新周期小于5s
数据类型多样：结构化，半结构化，非结构化
价值密度低：在正常数据占据大多数，希望发现隐匿在里面的价值数据。

3.国家电网公司数据存储和系统架构【现状】

过于依赖集中式SAN存储
基于SOA的数据集成
主要采用“企业级关系型数据库”
只存储二次加工的“熟数据”
速度慢，静态，关联性强
OLTP没有用武之处
容量，性能，可靠性，扩展性
一次性设备绝缘放电电流波形信号

4.先进的技术解决

阿里云、亚马逊、ODPS、HADOOP,SPARK,HBASE,STORM,ZOOKEEPER

5.选择计算场景

流式计算：消息触发，单挑处理，实时计算
在线计算：用户触发，频繁交互，快速响应
离线计算：定时安生，批量处理，实时性差

二、监测数据分析方法介绍

1、局部放电相位分析

局部放电相位分析(phase resolved partial discharge， PRP D) 将多个工频周期内监测所得的局部放电参数(放电次数N、视在放电量Q或放电幅值，及放电所在相位p)折算到一个工频周期内，计算其统计规律性，获取放电谱图，统计放电特征，用于模式识别。

参数提取-->放电谱构造-->统计特征计算-->放电类别识别

2.基本参数n-q-p的获取

以变压器局部放电监测数据为例，使用经典的局部放电相位分析法，计算局部放电波形相位信息n-q-p参数，并在此基础上计算放电谱图。
对于局部放电脉冲，具有以下三个基本参数：
①放电量q；：第i次放电的视在放电量；
②放电相位p；：第i次放电脉冲存在的工频电压相位；
③放电重复率n：单位时间内的放电次数。
由于这三个参数具有很强的统计分散性，需要对若干个工频周期(50个)内的基本参数进行统计处理，以突出基本参数的变化规律，有利于反映局部放电特性，这就需要计算放电谱图。

三、MaxCompute介绍

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。
随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（百TB、PB、EB）级别。MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务。
由于单台服务器的处理能力有限，海量数据的分析需要分布式的计算模型。分布式的计算模型对数据分析人员要求较高且不易维护。数据分析人员不仅需要了解业务需求，同时还需要熟悉底层分布式计算模型。MaxCompute为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。
目前，MaxCompute服务已覆盖全球16个国家和地区，客户遍及金融、互联网、生物医疗、能源、交通、传媒等行业，为全球用户提供海量数据存储和计算服务。MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。此外，MaxCompute、DataWorks以及AnalyticDB代表阿里云入选了Forrester Wave™ Q4 2018云数据仓库报告。

四、电力设备监测数据的MaxCompute表存储

1、MaxCompute字段限制

列数量小于1024个
支持数据类型不能存储多个【成千上万】采样点的值

2、DDL建表

// 建表
create table if not exists ODPS_PD(Time string, Phase bigint, Value bigint) partitioned by(DeviceID string,  Date string);
  // 查询
List tables;
// 添加分区
alter table ODPS_PD add if not exists partition (DeviceID= '001', Date = '20200501'); 
// 导入数据
tunnel upload d:\.....csv ODPS_PD/DeviceID= '001', Date = '20200501';
// 读取数据
read ODPS_PD;

3、并行特征计算，Eclipse和IDEA的MaxCompute插件，即可创建ODPS项目。

Eclipse Step 01官网导航中找到并下载ODP S for eclipse插件
Step 02将插件解压并复制到问eclipse安装目录下的plug-in子目录下
Step 03启动eclipse
Step 04检查Wizard选项里面是否有ODP S的目录
IDEA 搜索插件 MaxCompute Studio安装即可。使用MaxCompute实现监测数据统计特征分析的完整过程，最终让学员可以自己胜任在阿里云上的数据分析任务。实验中用到的数据是变压器局部放电的谱图数据，使用的数据分析工具是MaxCompute提供的MapReduce编程模型，要求使用Java语言编写程序，实现数据分析任务。