1.正元组和负元组


正元组:感兴趣的类的元组

负元组:其他类的元组

比如说:

正元组可能是buys_computer=yes

负元组是buys_computer=no




2.公式


评估分类器性能的度量_F值

TP,TN,FP,FN,P,N分别表示真正例、真负例、假正例、假负例、正和负样本数

含意:

TP(true positive):指被分类器正确分类的正元组

TN(true negative):指被分类器正确分类的负元组

FP(false positive):被错误地标记为正元组的负元组(例如,类buys_computer=no的元组,被分类器预测为buys_computer=yes)

FN(false negative):被错误地标记为负元组的正元组



3.混淆矩阵



评估分类器性能的度量_召回率_02




对角线越大,即TP+TN越大,则准确率越高

1)对于类不平衡问题,只看准确率是不行的,要结合召回率查看所关注的类是否正确标记正类。

如:



评估分类器性能的度量_准确率_03




总结:尽管准确率有96.4%,但是召回率就只有30%,它正确标记所关注的类的能力还是很差

2)精度和召回率呈现逆关系(互相影响的),用F值来度量

4.其他对分类器的度量:

速度:设计产生和使用分类器的计算开销

鲁棒性:假定数据有噪声或有缺失值时分类器做出正确预测的能力。通常,鲁棒性用噪声和缺失值渐增的一系列合成数据集评估

可伸缩性:算法的可伸缩性是指该算法能不能够用来处理大量的样本。(超大型的训练集)

可解释性:设计分类器或预测器提供的理解和洞察水平。可解释性是主观的,因而很难评估。决策树和分类规则可能很容易解释,但随着他们变得更复杂,他们的可解释性也随之消失。