毕业季：有序多分类Logistic回归，最详细SPSS教程
一、问题与数据
研究者想调查人们对“本国税收过高”的赞同程度：Strongly Disagree——非常不同意，用“0”表示；Disagree——不同意，用“1”表示；Agree--同意，用“2”表示；Strongly Agree--非常同意，用“3”表示。
另外，研究者也调查了一些其它情况，包括：是否是“雇主”（biz_owner：Yes——是，用“0”表示；No——否，用“1”表示）、年龄（age）和党派（politics：Lib——党派1，用“1”表示；Con——党派2，用“2”表示；Lab——党派3，用“3”表示）。部分数据如下图：
二、对问题的分析
使用有序Logistic进行回归分析时，需要考虑4个假设。
- 假设1：因变量唯一，且为有序多分类变量，如城市综合竞争力等级可以分为高、中、低；某病的治疗效果分为痊愈、有效、无效等。
- 假设2：存在一个或多个自变量，可为连续、有序多分类或无序分类变量。
- 假设3：自变量之间无多重共线性。
- 假设4：模型满足“比例优势”假设。意思是无论因变量的分割点在什么位置，模型中各个自变量对因变量的影响不变，也就是自变量对因变量的回归系数与分割点无关。
有序多分类的Logistic回归原理是将因变量的多个分类依次分割为多个二元的Logistic回归，例如本例中因变量“本国的税收过高”的赞同程度有4个等级，分析时拆分为三个二元Logistic回归，分别为(0 vs 1+2+3) 、(0+1 vs 2+3)、(0+1+2 vs 3)，均是较低级与较高级对比。
在有序多分类Logistic回归中，假设几个二元Logistic回归中，自变量的系数相等，仅常数项不等，结果也只输出一组自变量的系数。因此，有序多分类的Logistic回归模型，必须对自变量系数相等的假设（即“比例优势”假设）进行检验（又称平行线检验）。如果不满足该假设，则考虑使用无序多分类Logistic回归。
三、前期数据处理
对假设进行验证前，我们需要将分类变量设置成哑变量。
1. 为什么要设计哑变量
若直接将分类变量纳入Logistic回归方程，则软件会将分类变量按连续变量处理。例如，如果把性别按“1”——男、“2”——女进行编码，然后直接把性别纳入方程，方程会认为“女”是“男”的2倍。为了解决这个问题，需要用一系列的二分类变量“是”或“否”来表示原始的分类变量，这些新的二分类变量被称为“哑变量”。
在SPSS软件的二项Logistic回归模型中，将分类变量选入categorical，软件会自动设置一系列的哑变量。由于验证假设3(自变量之间无多重共线性)需要通过线性回归实现，而在线性回归中，就需要手动设置哑变量。因此，这里需要先手动设置哑变量。
2. 设置哑变量的思路
哑变量的数目是分类变量类别数减一。本例中，党派1、党派2和党派3的原始编码为1、2和3。设置哑变量时，需要对党派1和党派2进行重新编码。
建立新变量Lib（党派1），若调查对象选了党派1，则Lib编为“1”，代表是；若未选党派1，则Lib编为“0”，代表否。同样，建立新变量Con（党派2），将是否选党派2编为“1”或“0”。此时，若既未选党派1，又未选党派2，则两个新变量Lib和Con的编码都为“0”，代表党派3。此时，党派3在模型中是参考类别（Reference）。
3. 在SPSS中设置哑变量
(1) 首先，先创建新变量“Con”，在主菜单下选择Transform→Recode into Different Variables... ，如下图：
(2)
(3)
(4)
(5) 如果数据中有缺失值，点击左侧System-missing，右侧点击System-missing→Add，保持缺失值：
设置得到的结果如下图：
本例中没有缺失值，可省略这一步。
(6)
四、对假设的判断
假设1-2都是对研究设计的假设，需要研究者根据研究设计进行判断，所以这里主要对数据的假设3-4进行检验。
1. 检验假设3：自变量之间无多重共线性
(1)
(2)
(3)
结果如下图：
如果容忍度（Tolerance）小于0.1或方差膨胀因子（VIF）大于10，则表示有共线性存在。
本例中，容忍度均远大于0.1，方差膨胀因子均小于10，所以不存在多重共线性。如果数据存在多重共线性，则需要用复杂的方法进行处理，其中最简单的方法是剔除引起共线性的因素之一，剔除哪一个因素可以基于理论依据。
2. 检验假设4：模型满足“比例优势”假设
“比例优势”假设可以在后面结果部分的“平行线检验”中看到。
五、SPSS操作
SPSS中，可以通过两个过程实现有序Logistic回归。分别是Analyze → Regression → Ordinal...和Analyze → Generalized Linear Models → Generalized Linear Models...。
其中，Analyze → Regression → Ordinal模块，可以检验 “比例优势”假设，但无法给出OR值和95%CI。而Analyze → Generalized Linear Models → Generalized Linear Models模块可以给出OR值和95%CI，但无法检验“比例优势”假设。
这里，我们主要介绍Analyze → Regression → Ordinal过程。
(1)
(2)
(3)
(4)
六、结果解释
1. 假设4的检验结果
在结果解释之前，我们需要先看一下假设4的检验结果（平行线检验的结果）。
在Ordinal Regression：Output对话框中，选则Test of parallel lines后出现，的结果如下表。本例中平行线检验χ2 = 8.620, P = 0.375，说明平行性假设成立，即各回归方程相互平行，可以使用有序Logistic过程进行分析。
如果平行线假设不能满足，可以考虑一下两种方法进行处理：①进行无序多分类Logistic回归，而非有序Logistic回归，并能接受因变量失去有序的属性；② 用不同的分割点将因变量变为二分类变量，分别进行二项Logistic回归。
但是，当样本量过大时，平行线检验会过于敏感。即当比例优势存在时，也会显示P<0.05。此时，可以尝试将因变量设置为哑变量，并拟合多个二分类Logistic回归模型，通过观察自变量对各哑变量的OR值是否近似来判断。
2. 单元格
输出结果中，首先会给一个警告，内容为：有235（63.2%）个频率为零的单元格。如果存在过多频数为0的单元格，则会影响模型的拟合，导致拟合优度检验不可信。
扩展阅读
要理解这一点，就需要理解“协变量模式（covariate pattern）”的概念。协变量模式是指数据中自变量数值的组合，与因变量无关。比如，在本数据中，一个协变量模式是23岁（age），雇主（biz_owner）和党派3（politics）。对于每种协变量模式，可能有多个研究对象。比如，如果有4个研究对象是23岁、雇主和党派3，这代表一个协变量模式。
需要理解的另一个概念是“单元格模式（cell pattern）”，它是指自变量和因变量数值的组合，与协变量模式相似，但加上了因变量。对于同一个协变量模式，如果协变量模式能对应因变量所有值，就没有“缺失”的单元格。但实际中，一个协变量模式对应的因变量可能只有一个值。假如，有1个23岁、雇主和党派3研究对象的因变量是“Agree”，但由于因变量总共有4个水平，所以此时单元格“缺失”3个。
因此，协变量模式与单元格模式之间的联系是：（1）所有可能的单元格总数是协变量模式个数乘以因变量的分组个数；（2）实际的单元格是指单元格模式中频率不为0的单元格。单元格频率为零的比率为（总单元格的个数-实际单元格的个数）÷总单元格的个数。
3. 拟合优度检验结果
下图为拟合优度检验的结果，分别为Pearson和Deviance两种拟合优度检验。本例中，Pearson检验的结果χ2 = 745.367，P<0.001<0.05，说明Pearson检验结果为模型拟合不好；而Deviance检验的结果χ2 = 232.618，P=0.960>0.05，说明Deviance检验结果为模型拟合好。
这两个统计量对于上述单元格频数为0的比例十分敏感。本例中频数为0的单元格非常多，这两个统计量不一定服从卡方分布，而基于卡方分布计算的P值也不可信，所以本例中这两个检验结果都不可信。
4. 伪决定系数
下图给出了三个伪决定系数：Cox and Snell，Nagelkerke和McFadden，这三种方法是最常用的计算伪决定系数的方法。由于三种方法并没有得到广泛的应用，所以我们也不用关注该结果。
5. 模型拟合信息
Model Fitting Information的结果是对模型中所有自变量的偏回归系数是否全为0的似然比检验。结果χ2=87.911（该值为仅有常数项的模型和最终模型的-2 Log Likelihood值之差），P< 0.001，说明至少有一个自变量的偏回归系数不为0。换句话说，拟合包含biz_owner、politics和age这3个自变量的模型拟合优度好于仅包含常数项的模型。
6. 模型预测准确度
另一种看模型拟合程度的方法是看模型对因变量的预测情况。在Ordinal Regression: Output对话框中，勾选Saved Variables下方的Estimated response probabilities、Predicted category、Predicted category probability和Actual category probability后，会在SPSS数据集中产生新的变量，如下图所示。
EST1_1、EST2_1、EST3_1和EST4_1分别代表对因变量的四个程度（Strongly Disagree、Disagree、Agree和Strongly Agree） 的预测概率。
第一行（case 1），可以看到EST1_1、EST2_1、EST3_1和EST4_1相加的概率为1，其中EST1_1的概率最大，为0.44，对应的PRE_1为0（Strongly Disagree），因变量的观察值也是0（Strongly Disagree），此时模型准确的预测了因变量。
而第三行（case 3），EST1_1、EST2_1、EST3_1和EST4_1中EST3_1最大，预测的PRE_1为2（Agree），而因变量实际的观察值为0（Strongly Disagree），此时模型没有准确的预测因变量。
那么，如何看出模型预测因变量的程度呢？可以按照下述步骤建立表格。
(1)
(2)
(3)
(4)
7. 参数估计
在Parameter Estimates中，得到了回归方程的参数，包括常数项（Estimates或B）及其标准误和95%置信区间等。
(1) Threshold（常数项）中，第一行tax_too_high=0代表“Strongly Disagree” VS 其它组的累积概率模型的截距；tax_too_high=1代表 “Strongly Disagree”和“Disagree”VS其它组的累积概率模型的截距；tax_too_high=2代表 “Strongly Disagree”、“Disagree”和“Agree” VS“Strongly Agree”的累积概率模型的截距。
(2)
得到参数估计的结果后，第一处特别要注意的是：对于有序Logistic回归，不同软件使用的模型有所不同，SPSS使用的是其中一种模型。因此，相同的数据使用不同的软件（SPSS、Stata、SAS、R、JMP等），得到的截距和效应值的符号会有所不同。尤其是效应值的符号，有些软件是正值，有些则是负值，因此对应的解释方法也有所不同（但最终的意义一样）。
得到上述结果后，依据SPSS使用的模型，可以得到三个方程。
可以看到，SPSS得到的方程中，除了截距项之外，所有效应值要在Parameter Estimates表格中的原始值基础上加上负号。
对于OR值及其95%CI，Analyze→Regression→Ordinal模块不能直接给出，此时可以根据效应值及其95%CI手工计算OR值及其95%CI，也可以借助Analyze→Generalized Linear Models→Generalized Linear Models模块计算。该模块的操作见本章第8部分。
第二处特别要注意的是：SPSS使用的模型是以因变量的较高等级为参照，因此解释OR值时略有特殊。
以本研究中是否为“雇主”为例，其OR值及其95%CI的下限、上限分别为e-0.655=0.519、e-1.233=0.291和e-0.096=0.908（由于取负值，所以需要颠倒原来的上下限）。得到OR值后，其解释为：相对于非雇主，雇主认为“税收低”的OR值为0.519。
可以看到，基于SPSS使用的模型，我们需要对效应值取负值，并在解释时，以最高等级为参照。因此，如果不对效应值取负值，解释时以最低等级为参照，得到的结论完全一样。重新计算OR’值及其95%CI的下限、上限分别为e0.655=1.944、e0.096=1.101、e1.233=3.431后（所有取值均为取负值时的倒数），我们得到如下结果：雇主认为“税收高”的OR值是非雇主的1.944倍（95%CI：1.101-3.431），χ2=5.255, P=0.022。
特别需要注意的这两点可以总结为：SPSS做有序Logistic回归时，给出预测模型的方程时，需要将除了截距外的效应值前加上负号；结果解释时，可以不给效应值加负号，但需要以因变量的最低等级为参照。
同样的，以党派3为对照组，党派1认为“税收高”的OR值是党派3的1.038倍 （95%CI：0.509-2.116），χ2 = 0.010，P= 0.919；党派2认为“税收高”的OR值党派3的3.194倍（95%CI：：1.626 -6.277），χ2 = 11.358，P=0.001。这样可以看到党派1 VS 党派3、党派2 VS 党派3的结果，但是没有党派1和党派2比较的结果。此时，可以对Politics重新编码，将党派1编为3，党派3编为1，再进行上述操作，即可得到结果。
年龄每增加一岁，认为税收高的OR值是原来的1.274倍（95%CI：1.196-1.357）, χ2 = 56.355，P<0.001。
七、撰写结论
运用符合比例优势假设的有序Logistic回归分析是否是雇主、投票选举的党派和年龄对“税收过高”的效应。
平行线检验的结果为χ2 = 8.620，P=0.375，说明比例优势假设存在。Deviance拟合优度检验显示模型拟合好，χ2 = 232.618，P=0.960，但是有大部分（63.2%）频数为0的单元格。模型拟合信息显示，本模型优于只有常数项的模型，χ2 = 87.911，P
雇主认为“税收过高”的OR值是非雇主的1.944倍（95%CI: 1.101-3.431），χ2 = 5.255，P=0.022。以党派3为对照组，党派1认为“税收过高”的OR值是党派3的1.038倍 （95%CI: 0.509-2.116），χ2 = 0.010，P= 0.919；党派2认为“税收过高”的OR值党派3的3.194倍（95%CI: 1.626 -6.277），χ2 = 11.358，P=0.001。年龄每增加一岁，认为税收高的OR值是原来的1.274倍（95%CI：1.196-1.357）, χ2 = 56.355，P<0.001。
八、利用其它模块计算OR值
上述Analyze→Regression→Ordinal模块，可以检验 “比例优势”假设，但无法给出OR值和95%CI。而Analyze→Generalized Linear Models→Generalized Linear Models模块可以给出OR值和95%CI。
1. SPSS操作
(1)
(2)
本例中tax_too_high共有四个等级，“0”表示“非常不同意”。如果选择ascending，则“0”是最低的等级；如果选择Descending，则表示“0”为最高的等级。
(3)
(4)
(5)
(6)
2. 结果解释
Generalized Linear Models模块不会给出单元格信息、伪决定系数和平行线检验结果。模型拟合信息在Ominibus Test表中，该结果与Regression→Ordinal的Model Fitting Information结果一致。
参数估计的OR值和95%CI见下图：
