最近开始学习数据科学，从数据清洗中的异常数据监测入手，读了几篇文献，现将一些理解和认识总结一下，当作笔记。其中方法的介绍可能不太详细，理解也可能不太准确，只为路过的各位提供一个参考。异常数据检测的意义数据存在重复、因传感器等测量仪器问题引起的数据错误、缺失等情况，若将这种数据也用于数据分析和预测，分析或预测的结果会出现一定偏差。 另一方面，当设备出现异常时，利用异常数据检测可能会检测出设备的异常，
文章目录时间序列一、 确定性时间序列分析方法1. 移动平均法2. 指数平滑法1. 综述2. 一次指数平滑法3. 二次指数平滑法3. 差分指数平滑法4. 具有季节性特点的时间序列的预测二、 平稳时间序列模型1. 时间序列的基本概念2. ARMA模型的构建及预报（1）. ARMA模型的构建（2）. ARMA(p,q)序列的预报三、时间序列的MATLAB相关工具箱的命令1. 系统辨识工具箱相关命令的使
时间序列是按时间次序排列的随机变量序列，任何时间序列经过合理的函数变换后都可以认为是由三个部分叠加而成。这三个部分是趋势部分、周期项部分和随机噪声项部分。从时间序列中把这三个部分分解出来是时间序列分析的首要任务。 在实际问题中所能得到的数据只是时间序列的有限观测样本。时间序列分析的主要任务就是根据观测数据的特点为数据建立尽可能合理的统计模型。然后利用模型的统计特性去解释数据的统计规律，以
1、数据异常检测：1.1、数据异常种类： 1、点异常：少数个体是异常的而多少数据是正常的，大多数数据由于数据采样设备的问题，导致产生个别异常数据 2、条件异常：是在特定情况下是异常的而在大多数情况下是正常的，这个判断需要根据外界条件辅助判断， 3、群体异常：个体本身可能正常，但处于异常
时序分析 40从ARIMA到SARIMAX(九)超参调优与最佳模型接上…超参调优我们是否有方法使模型表现得更好呢？ 可以使用网格搜索来进行超参数调优，下面我们将针对changepoint_prior_scale 和 seasonality_prior_scale进行参数搜索。前者决定了趋势的灵活性，也就是在趋势改变点上趋势变化多少，而后者控制了季节性的弹性。import itertools
pa
时间序列知识整理系列时间序列统计分析时间序列聚类时间序列预测时间序列回归时间序列特征工程时间序列补缺时间序列异常检测异常检测（Anomaly detection）是目前时序数据分析最成熟的应用之一，定义是从正常的时间序列中识别不正常的事件或行为的过程。有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。以在轨航天器为例，由于航天器昂贵且系统
对如下数据进行异常检测，显然红圈中的两个点是异常点。 1、 使用指标绝对值进行异常检测import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
# 读取数据
d
转载
2023-08-31 15:55:07
183阅读
本文包含的内容：什么是时间序列和时间序列分解模型？如何做时序异常检测、时序预测和根因分析？为什么需要AMA?异常检测是在数据中发现与预期行为不符的模式。对于决策者而言，在检测到异常时采取必要的积极行动可以避免和减少损失。异常检测在许多行业中发挥着至关重要的作用，例如金融行业的欺诈检测、医院的健康监控、制造业、能源电力、运输、航空和汽车行业的故障检测和操作环境监控 、IT环境的智能运维（AIOps）
转载
2023-07-10 22:37:28
488阅读
1、差分.diff(1) 一阶差分：pd['diff_1'] = pd['row'].diff(1) #对列数据做差分2、ACF和PACF的绘制importstatsmodels.api assm
def tsplot(y, lags=None, title='', figsize=(14, 8)):
fig = plt.figure(figsize=figsize)
一. 介绍异常检测（Anomaly detection）是目前时序数据分析最成熟的应用之一，定义是从正常的时间序列中识别不正常的事件或行为的过程。有效的异常检测被广泛用于现实世界的很多领域，例如量化交易，网络安全检测、自动驾驶汽车和大型工业设备的日常维护。基础上，将会呈现之前提及的一些深度/传统机器学习算法模型基于KDD99以及NSL_KDD数据集的性能表现，并结合具体数据情况给出各个模型的评估结
文章目录1 前言2 正文1.1 强化学习定义1.2 马尔可夫决策过程1.3 强化学习的目标函数1.3.1 总回报1.3.1 目标函数1.4 值函数1.4.1 状态值函数1.4.2 状态-动作值函数14.3 值函数的作用1.5 强化学习的分类1.5.1 按任务分类1.5.2按算法分类3 总结1 前言监督学习可用于回归，分类等任务，这一般都需要一定数量的带标签的数据。然而，在很多的应用场景中，通过人工标注的方式来给数据打标签的方式往往行不通。比如我们通过监督学习来训练一个模型可以来自动下围棋，就需要将当前
原创
2021-06-21 15:33:36
3433阅读
点赞
1评论
背景介绍「时间序列」是指某一个指标按照时间的统计或者观测而成的数列。比如，在运维的领域中，某主机每秒的CPU使用率、某业务每分钟的请求数量等，都可以形成一条时间序列；「异常检测」是指对反常的、和历史不同的行为模式识别。如某台一直空闲的机器，CPU使用率突然飙升至100%、某系统在本应业务繁忙的时间段请求数量降为0等等。由于时间序列可视化成本低、含义明确、规律明显，因此经常被用于运维领域中监控系统的
强化学习强化学习强化学习DQNDDPGPPOA3C
原创
2021-08-02 15:00:43
298阅读
目录一.强化学习1.1定义1.2组成二.应用2.1初出茅庐2.2无人驾驶2.3游戏示意图如下所示： 强化学习的各个组成元素的
强化学习，是一种源于试错方式，遵循马尔科夫决策过程的机器学习方法。目前强化学习已广泛的出现在人工智能的应用中，国内各互联网公司从 2016 年开始均开始关注强化学习，目前已经公布了许多基于强化学习的研究与应用。当然最出名的还是 DeepMind 当年使用强化学习训练 AI 玩雅利达 2600 游戏的实验，这让 Google 迅速收购了 DeepMind，也把强化学习再度推上人工智能技术顶峰，同时为后来的 AlphaGo, AlphaZero 奠定了技术基础。**
原创
2019-04-09 12:52:33
564阅读
深度强化学习是一种机器学习，其中智能体(Agent，也翻译作代理)通过执行操作（Action）和查看结果（R
转载
2022-07-29 09:09:25
1173阅读
强化学习强化学习强化学习Python 还能实现哪些 AI 游戏？附上代码一起来一把！
原创
2021-08-02 14:21:53
765阅读
目录一、知识框架二、练习题一、知识框架二、练习题1是1991～2008年我国财政收入数据。采用指数曲线预测2009年的财政收入，并将实际值和预测值绘图进行比较。解：设指数曲线的趋势方程为Yt＝b0b1t，两端取对数得ln（Yt）＝ln（b0）＋tln（b1）。根据最小二乘法原理，求得ln（b1）＝0.1709，ln（b0）＝7.8445，对应指数曲线方程为Yt＝2551.6615×1.1864t。
【强化学习】⚠️手把手带你走进强化学习 1⚠️ 强化学习简介.
原创
2022-01-12 09:38:08
937阅读
一文了解时间序列异常检测/ 背景介绍 /时间序列异常检测是一个经典的问题。「时间序列」是指某一个指标按照时间的统计或者观测而成的数列。比如，在运维的领域中，某主机每秒的CPU使用率、某业务每分钟的请求数量等，都可以形成一条时间序列；「异常检测」是指对反常的、和历史不同的行为模式识别。如某台一直空闲的机器，CPU使用率突然飙升至100%、某系统在本应业务繁忙的时间段请求数量降为0等等。由于时间序列可
