文章目录
衡量二分类问题的统计指标
分类结果
二分类问题,分类结果有以下四种情况:
- 真阴性(TN,True Negative),事实为阴性并预测为阴性。
- 真阳性(TP,True Positive),事实为阳性并预测为阳性。
- 假阴性(FN,False Negative),事实为阳性但预测为阴性。
- 假阳性(FP,False Positive),事实为阴性但预测为阳性。
真实类别 | |||
1 Positive | 0 Negative | ||
预测类别 | 1 Positive | True Positive 真阳性 | False Positive 假阳性 |
0 Negative | False Negative 假阴性 | True Negative 真阴性 |
混淆矩阵
混淆矩阵(Confusion Matrix)是将四种情况各自预测结果的计数,以矩阵形式表示出来。
( T N F P F N T P ) \begin{pmatrix} TN & FP \\ FN & TP \end{pmatrix} (TNFNFPTP)
准确率
准确率(Accuracy)是指所有预测中预测准确的比例:
A c c u r a c y = T P + T N T P + T N + F P + F N Accuracy = {TP + TN \over TP + TN + FP + FN} Accuracy=TP+TN+FP+FNTP+TN
精确率
精确度(Precision)是指正确预测阳性占所有预测为阳性的比例:
P r e c i s i o n = T P T P + F P Precision = {TP \over TP + FP} Precision=TP+FPTP
召回率
召回率(Recall)是指正确预测的阳性占所有事实是阳性的比例:
R e c a l l = T P T P + F N Recall = {TP \over TP + FN} Recall=TP+FNTP
F1评分
F1分数(F1 Score),是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种调和平均,它的最大值是1,最小值是0。
F 1 = 2 R e c a l l ∗ P r e c i s i o n R e c a l l + P r e c i s i o n = 2 T P 2 T P + F N + F P F1 = 2{ Recall * Precision \over Recall + Precision} = { 2TP \over 2TP + FN + FP } F1=2Recall+PrecisionRecall∗Precision=2TP+FN+FP2TP
推导过程
F 1 = 2 R e c a l l ∗ P r e c i s i o n R e c a l l + P r e c i s i o n = 2 T P T P + F N ∗ T P T P + F P T P T P + F N + T P T P + F P = 2 ∗ T P 2 ( T P + F N ) ( T P + F P ) T P 2 + T P ∗ F P + T P 2 + T P ∗ F N ( T P + F N ) ( T P + F P ) = 2 ∗ T P 2 2 T P 2 + T P ∗ F P + T P ∗ F N = 2 T P 2 T P + F N + F P F1 = 2{ Recall * Precision \over Recall + Precision} \\ = 2{ {TP \over TP + FN} * {TP \over TP + FP} \over {TP \over TP + FN} + {TP \over TP + FP} } \\ = 2 * { {TP^2 \over (TP + FN)(TP + FP)} \over {TP^2 + TP*FP + TP^2 + TP*FN \over (TP + FN)(TP + FP)} } \\ = 2 * { TP^2 \over 2TP^2 + TP*FP + TP*FN } \\ = { 2TP \over 2TP + FN + FP } F1=2Recall+PrecisionRecall∗Precision=2TP+FNTP+TP+FPTPTP+FNTP∗TP+FPTP=2∗(TP+FN)(TP+FP)TP2+TP∗FP+TP2+TP∗FN(TP+FN)(TP+FP)TP2=2∗2TP2+TP∗FP+TP∗FNTP2=2TP+FN+FP2TP
ROC曲线、AUC
ROC曲线(Receiver Operating Characteristic Curve)显示了分类模型在所有分类阈值下的性能,它描绘了真阳性率(Y轴)和假阳性率(X轴的关系)。
ROC曲线越“陡峭”,越接近理想结果:最大化真阳性率和最小化假阳性率。即图中左上角是“理想”点-假阳性率为0,真阳性率为1。
ROC曲线下的面积(Area Under the Roc Curve,AUC)计算从(0,0)到(1,1)的整个ROC曲线下的二维区域的面积,AUC越大越好。