需要评价回归模型最优的准则,来判断哪个模型性能最好。

  • 残差平方和SSE越小,决定系数R语言固定效应回归模型 固定效应模型r2特别小_建模越大越好:并非如此,增加自变量个数会达到上述效果,但是考虑到多重共线性、变量测量误差累计、参数数目增加等因素,未必会好
  • 自由度调整复决定系数达到最大:自变量增多,复决定系数增大,但是残差自由度减小(残差自由度等于样本个数减掉变量个数)。自由度减小意味着可靠性低,即区间预测的幅度变大,无实际应用意义。采用调整复决定系数:R语言固定效应回归模型 固定效应模型r2特别小_机器学习_02
  • 赤池信息量(Akaike Information Criterion)达到最小:基于最大似然估计原理的模型选择准则R语言固定效应回归模型 固定效应模型r2特别小_建模_03其中R语言固定效应回归模型 固定效应模型r2特别小_R语言固定效应回归模型_04为模型似然函数,维数为p,n为样本个数。 在回归建模过程中,对每一个模型计算AIC,其中该值最小的模型,就是最优回归模型。
  • 统计量R语言固定效应回归模型 固定效应模型r2特别小_ide_05达到最小:R语言固定效应回归模型 固定效应模型r2特别小_线性回归_06

自变量选择的方法

前进法:
- 思路:变量由少到多,每次增加一个,直至没有可引入的变量
- 具体做法:
1. 对所有m个自变量,分别对因变量y进行建模,建立m个一元线性回归方程
2. 对这m个一元线性回归方程的m个回归系数进行F检验,计算F统计量值,找到最大的一个R语言固定效应回归模型 固定效应模型r2特别小_机器学习_07
3. 将R语言固定效应回归模型 固定效应模型r2特别小_机器学习_07和预先设定的检验水平R语言固定效应回归模型 固定效应模型r2特别小_ide_09对应的R语言固定效应回归模型 固定效应模型r2特别小_线性回归_10值比较,若R语言固定效应回归模型 固定效应模型r2特别小_ide_11,将自变量R语言固定效应回归模型 固定效应模型r2特别小_建模_12引入回归方程
4. 对R语言固定效应回归模型 固定效应模型r2特别小_建模_12与剩余的R语言固定效应回归模型 固定效应模型r2特别小_R语言固定效应回归模型_14个方程这种非R语言固定效应回归模型 固定效应模型r2特别小_建模_12的回归系数进行R语言固定效应回归模型 固定效应模型r2特别小_线性回归_10检验,挑选出最大的R语言固定效应回归模型 固定效应模型r2特别小_线性回归_10R语言固定效应回归模型 固定效应模型r2特别小_机器学习_18,和R语言固定效应回归模型 固定效应模型r2特别小_ide_09对应的临界值比较,若R语言固定效应回归模型 固定效应模型r2特别小_线性回归_20,将R语言固定效应回归模型 固定效应模型r2特别小_机器学习_21引入回归方程
5. 重复上述步骤,直到没有符合引入条件的变量为止,得到最终的回归方程

后退法:

  • 思路:变量由多到少,每次减少一个,直至没有可减少的变量
  • 具体做法:
    1.对所有m个自变量,对因变量y进行建模,建立一个m元线性回归方程
    2.对这个m元线性回归方程的m个回归系数进行R语言固定效应回归模型 固定效应模型r2特别小_ide_22检验,计算R语言固定效应回归模型 固定效应模型r2特别小_ide_22统计量值,找到最小的一个R语言固定效应回归模型 固定效应模型r2特别小_线性回归_24
    3.将R语言固定效应回归模型 固定效应模型r2特别小_线性回归_24和预先设定的检验水平R语言固定效应回归模型 固定效应模型r2特别小_线性回归_26对应的R语言固定效应回归模型 固定效应模型r2特别小_ide_22值比较,若R语言固定效应回归模型 固定效应模型r2特别小_建模_28,将自变量R语言固定效应回归模型 固定效应模型r2特别小_ide_29剔除回归方程
    4.将剩余R语言固定效应回归模型 固定效应模型r2特别小_ide_30个自变量对因变量y进行建模,建立一个R语言固定效应回归模型 固定效应模型r2特别小_ide_30元线性回归方程,对新的回归方程中的R语言固定效应回归模型 固定效应模型r2特别小_ide_30个回归系数进行R语言固定效应回归模型 固定效应模型r2特别小_ide_22检验,选出最小的R语言固定效应回归模型 固定效应模型r2特别小_ide_22值和R语言固定效应回归模型 固定效应模型r2特别小_线性回归_35,和R语言固定效应回归模型 固定效应模型r2特别小_线性回归_26对应的临界值比较,若R语言固定效应回归模型 固定效应模型r2特别小_建模_37,将R语言固定效应回归模型 固定效应模型r2特别小_ide_38剔出回归方程
    5.重复上述步骤,直到没有符合剔除条件的变量为止,得到最终的回归方程

两者存在的问题:
前进法:不能反映引进新的自变量后的变化情况。环境不同,自变量的显著性也不同,而前进法的核心只是考量了某个环境下的自变量的显著性,没考虑不同环境下的显著性。 一旦选入,不会剔除,同样对环境变化缺乏考量
后退法:计算量大,自变量个数从多到少,开始的计算量会较大,并且可能做了很多无用功。与前进法类似,未考虑环境变化带来的影响,缺乏对变化的考量,被剔除的变量后续不会考虑再次引入,及时在某些条件下,被剔除掉的变量显著性满足引入要求,即使优于当前方程中的某些变量
如果所有自变量都是独立的,理论上前进法和后退法得到的回归方程是一致的

逐步回归法

  • 思路:有进有出。每当当前回归方程中的变量发生变化,都要对方程中的所有变量进行R语言固定效应回归模型 固定效应模型r2特别小_ide_22检验。
    -https://www.doc88.com/p-1174528531589.html