国外数据分析建模应用领域 20_10_数据分析建模

基于视频数据的能见度估计与预测

• 1 回归方程行文模板
• 2 深度学习行文模板
• 3 将问题进行转化的思想
• 4 灰度预测模型行文模板

1 回归方程行文模板

作为大数据处理赛题，在进行模型建立时，均会使用相关性分析进行数据预处理，将多余变量进行剔除。

1. 这里的数据缺失，可以使用插值法进行拟合
2. 一般这里还可以添加箱线图进行异常值剔除
3. 将需要多元回归的变量进行整合

相关性矩阵数学公式模板

如果相关性分析中不出现一个相关系数矩阵图，感觉都少点什么了，只要是涉及到相关性分析的，详见Matlab绘制相关系数矩阵图

接下来就是结合具体资料和相关系数进行变量选择，经可能说清楚变量选择的合理性

1. 接下来就是写公式，注意，如果这里每个变量之间的数据级别差距过大，需要进行数据标准化处理，具体参见常见的数据标准化方法 常用的为： Z-Score normalization，Linear normalization (“Max-Min”)
2. 然后使用现成的库实现参数求解，求解出结果后，需要对自变量与应变量的关系进行阐述。

最后就是评价指标了，常见的也就是均方差，R方检验，T检验等详见回归分析检验，在画画图，结束。

回归方程总结：

1. 数据处理，包含缺失值插值(拉格朗日插值法，平均值插值法，线性拟合插值法等)，异常值箱线图剔除(借助3σ准则)。
2. 相关性分析，这里需要先理清各个数据之间的关系，列公式，然后借助软件进行分析，然后画图，相关性系数矩阵图，在选取三大系数中的一两个和背景资料，将多余变量剔除
3. 列回归方程公式，看变量数据级，判断是否进行标准化处理，借助软件求参数，出现参数后，结合变量说清楚自变量和应变量之间的变化关系
4. 选取评价指标，列公式，画图，结束

2 深度学习行文模板

这里的第二问是一个分类问题，有点老本行的感觉，就省略不写了，重点是如何将题目转化成自己熟悉的分类模型，该篇论文是用的VGG16，这个模型图竟然都是从网上截的，啊，自己组写应该可以更好一点。

3 将问题进行转化的思想

看了另外一篇文章，是推导了基于暗通道先验理论的能见度与透射率、消光系数和场景深度间的数理关系，其次，使用基于梯度导向滤波技术的暗通道先验算法对题目提供的高速公路图片求解暗通道图像等等，我去，这个门槛有点高，如果不是相关专业的，很难短时间将其运用到比赛中，但是这篇文章，将公路视频能见度转化为公路线条的景深以及交汇点，这个是非常巧妙的方法，同时使用车道线检验算法(Canny 边缘检测算法，Hough 变换提取车道线)，得出处理后的图像，在原始图像中，自己标注线条汇聚点，省去了使用算法进行拟合线条出现的偏差问题，是一个门槛不高，但是效果显著，入门快的方法，绝了，非常棒。

4 灰度预测模型行文模板

这里写的就有点少了，特别是灰度预测这里，但是本文是用了线性预测模型和灰度预测模型进行对比的，其实本文第一问已经使用了线性回归模型，这里也可以使用训练好的LSTM或者是RNN进行对比。