计算一个item评分的众数 计算评分者信度

11.5.2  评分者信度实例分析

【例11.5】 某校学生举办歌唱大赛，请5位评委老师为最终进入决赛的6名同学评定等级，结果如表11-10所示，请计算其信度。

解：本例数据涉及多个评价者对多个人的成绩评价是否具有一致性，目的在于计算评分者信度的高低，可以用肯德尔W系数描述。具体操作如下。

1．操作过程

(1)根据题意建立数据文件，如图11-17所示。

图11-17  评委老师打分数据(2)选择"分析"�1"非参数检验"�1"旧对话框"�1"K个相关样本"命令，打开"多个关联样本检验"对话框，如图11-18所示。

图11-18 "多个关联样本检验"对话框

(3)选择变量及检验类型：将左边列表框中要分析的变量移入右侧的"检验变量"列表框中，在"检验类型"选项组中勾选"Kendall的W"复选框。

(4)选择统计量：单击"统计量"按钮，打开"多个相关样本：统计量"对话框，如图11-19所示。勾选"描述性"复选框。单击"继续"按钮，返回"多个关联样本检验"对话框。

图11-19 "多个相关样本：

统计量"对话框

(5)单击"确定"按钮，输出结果。

2．结果分析

(1)秩均值表：因为肯德尔检验使用的是等级评分，所以进行检验需要首先将数据转化为其对应的秩。在结果中首先显示的是肯德尔W检验的秩均值表，如表11-11所示。从表中可以看出，6名学生得分的平均秩分别为5.10、3.10、2.00、4.00、3.80和3.00。

表11-11  秩
秩均值
秩均值
A3
5.10
A5
4.00
A1
3.10
A6
3.80
A4
2.00
A2
3.00

(2)检验统计表：结果中接下来呈现的是检验统计量，如表11-12所示。从表中可以看出，Kendall W系数为0.406，卡方为10.146，P=0.071＞0.05，可以认为这6名学生得分的平均秩没有显著差异，也说明这5名评委对6名同学的打分具有一致性，即具有评分者信度。

表11-12  检验统计量
N
5
N
5
KendallWa
.406
df
5
卡方
10.146
渐近显著性
.071

表11-12  检验统计量
N
5
N
5
KendallWa
.406
df
5
卡方
10.146
渐近显著性
.071