报表体系的搭建对于任何一家金融机构都尤为重要,对于风控模型来说经上线部署后会因内外部各种因素引起模型分数偏移,甚至出现错误。

因此,为了能在第一时间发现问题,我们需要对模型进行动态监控。有一套相对完整的报表系统,能对模型的有效性、稳定性进行监控,更好地保证模型运行以及迭代新的模型版本。

对于一般的风控模型,即ABC卡来说,简单地可以把监控分为前端监控和后端监控。这两张报表主要是反应分数分布和区分能力的,通用于所有模型。

1、前端监控

前端监控是客群表现label出来之前的监控,主要监控当月人群模型分数的分布。

前端监控是不需要label的,对于一般的信用卡类的消费贷来说,如果每月的账单时间是当月的最后一天,负责监控的同事需要在下个月的第一天做好前端监控。

因为在这天,上个月的所有账单和人群都已经固定了,所以这个前端监控也是一个最终版本。对于没有账期的现金贷来说,推荐每日更新前端监控。

2、后端监控

后端监控的目的是客群出label之后的监控,监控模型对好坏客户的区分能力。而后端监控报告主要是关注模型性能和资产表现,其有两方面作用:评估模型性能和分析资产质量。

风控模型 java 实战 风控数据模型_风控模型 java 实战


从上图后端监控报表中,以风控ABC卡中的A卡,申请评分卡作为例子。以FPD30+,首单逾期30天以上为坏客户的label。

如果7月的所有账单的账单日是8月1号,还款截止日是8月5号。那么,7月这个月的后端监控需要9月5号(还款截止日+30天)才能出来。

后端监控中会统计出每个分数段的人数和坏客户比例。这张报表中主要要关注坏客户比例是否会随着客户分数段增高而变低。

除了表中所示的一些数据外,推荐再统计一个模型的AUC和KS值,这两个值可以体现模型对好坏客户的区分能力。

一般来说,在模型训练好上线后,模型能力会逐月递减。可以设定一个阈值,当模型的AUC或者KS低于这个阈值的时候,高分段的坏客户比例比低分段的高的时候,重新迭代模型。