多元回归及岭回归 多元回归有哪些

多元回归：逐步回归

什么是逐步回归？

逐步回归（Stepwise Regression）是一种基于统计学的建模方法，通过反复添加和删除自变量来选择最佳的模型。在多元线性回归中，我们通常希望找到一个拥有较少自变量但能够很好地拟合因变量的模型，以减少模型复杂度且不损失预测精度。逐步回归正是为此而生。

在逐步回归中，我们首先建立一个包含所有自变量但没有截距项的模型，然后根据某些标准逐步添加或删除自变量。标准通常有两种：

• 前向逐步回归：从只有截距项开始，每次添加一个自变量，直到增加一个自变量不再显著地提高模型的拟合程度为止。
• 后向逐步回归：从所有自变量开始，每次删除一个自变量，直到删除一个自变量不会显著地降低模型的拟合程度为止。

逐步回归的实现

逐步回归的实现通常分为前向逐步回归和后向逐步回归两种。

前向逐步回归

前向逐步回归的实现过程如下：

1. 初始化模型，只包含截距项。
2. 针对每个自变量 $X_j$，计算单变量线性回归系数 $b_j$ 及其 F 统计量的值 $F_j$。
3. 选择 F 统计量的值最大的自变量 $X_k$，将其加入模型中。
4. 对于还未加入模型的自变量 $X_j$，计算其与已加入模型的所有自变量的多重相关系数 $R_{jk}$，并计算调整后的 F 统计量的值 $F_j^*$。
5. 选择调整后的 F 统计量的值最大的自变量 $X_l$，将其加入模型中。
6. 重复步骤 4 和 5，直到进一步加入任何一个自变量都不能显著提高模型的拟合程度为止。

后向逐步回归

后向逐步回归的实现过程如下：

1. 初始化模型，包含所有自变量。
2. 针对每个自变量 $X_j$，计算在已有变量的条件下，删除自变量 $X_j$ 之后的多元回归系数估计 $\hat{\beta}_j$。
3. 计算删除每个自变量之后的残差平方和 $SSE_j$。
4. 选择删除之后 SSE 值最小的自变量 $X_k$，将其从模型中删除。
5. 重复步骤 2~4，直到进一步删除任何一个自变量都不能显著降低模型的拟合程度为止。

逐步回归的优缺点

逐步回归作为一种特殊的变量选择方法，具有其独特的优缺点。

优点

• 自动化选择：逐步回归能够自动识别具有预测价值的自变量，并且能够找到一个相对简单但仍然很有效的模型。
• 灵活性：逐步回归不需要一个完整的理论模型，因此可以灵活地应用于实际问题中。
• 节约时间和成本：与传统的手动变量选择方法相比，逐步回归能够节省大量的时间和成本。

缺点

• 模型过拟合：如果添加了过多的自变量，可能会导致模型过拟合，从而不具有很好的预测能力。
• 过于依赖数据：逐步回归可能受到样本数据的影响，因此需要谨慎使用。

总结

逐步回归是一种基于统计学的建模方法，通过反复添加和删除自变量来选择最佳的模型。它通常分为前向逐步回归和后向逐步回归两种。逐步回归具有自动化选择、灵活性和节约时间和成本等优点，但也存在模型过拟合和过于依赖数据等缺点。在应用逐步回归时，需要根据具体问题进行选择，并结合实际情况进行判断。