首先,让我们看一个小的单变量时间序列数据,我们将用作上下文来理解这三种回测方法:太阳黑子数据集。该数据集描述了刚刚超过 230 年(1749-1983 年)观察到的太阳黑子数量的每月计数。
前向验证对于模型的更新作用_数据

数据集显示了季节之间差异很大的季节性。
首先对数据集进行训练-测试划分:
前向验证对于模型的更新作用_数据集_02

使用多个训练测试拆分将导致训练更多模型,进而更准确地估计模型在未见数据上的性能。
训练-测试拆分方法的一个限制是,训练的模型在测试集中的每个评估中被评估时保持固定。
这可能是不现实的,因为模型可以在新的每日或每月观察可用时重新训练。下一节将解决这个问题。

向前验证

在实践中,我们很可能会在新数据可用时重新训练我们的模型。
这将为模型提供在每个时间步进行良好预测的最佳机会。我们可以在这个假设下评估我们的机器学习模型。
1.最少观察次数。首先,我们必须选择训练模型所需的最少观察次数。如果使用滑动窗口,这可能被认为是窗口宽度(见下一点)。
2.滑动或扩展窗口。接下来,我们需要决定模型是使用所有可用数据进行训练,还是仅根据最近的观察结果进行训练。这决定了使用滑动窗口还是展开窗口。
前向验证对于模型的更新作用_数据集_03