评分卡上线后，如何对评分卡的效果进行有效监测，监测哪些指标，监测的指标阈值达到多少我们需要对现有评分卡进行调整更新？这是我们在评分卡上线后需要持续性监测、关注的问题。

1. 模型稳定性

包括评分卡得分分布的PSI(Population Stability Index), 评分卡所有涉及变量的PSI. 模型分数分布稳定性：监测模型的打分结果的分布是否有变化，主要将评分卡上线后的样本RealData与建模时的样本Train_Data比较。使用的统计指标为PSI(Population Stability Index).使用的指标是PSI.
变量稳定性：监测模型的输入变量的分布是否有变化，主要将评分卡上线后的样本RealData与建模时的样本Train_Data比较。使用的指标也是PSI.

PSI 计算步骤： 假设我们要比较样本A与样本B中某一变量Y的分布，首先按照同一标准将Y分为几个区间（通常分为10段），计算样本A和样本B中每个区间的占比。在每个区间段上，将两个样本的各自占比相除再取对数，然后乘以各自占比之差，最后将各个区间段的计算值相加，得到最终PSI.

PSI<0.1 样本分布有微小变化 PSI 0.1~0.2 样本分布有变化 PSI>0.2 样本分布有显著变化.

计算完建模变量的PSI值，需要重点关注PSI>0.2的变量，说明这几项的分布较建模时已经发生比较显著的变化，需要考虑是否是客户质量变化引起的PSI变动。

2. 坏账变现

以9个月内逾期60天为坏账标准，或12个月内逾期90天为坏账标准，观测模型的表现。（坏账标准具体需根据不同产品来定义） 我常用的坏账监测标准：60days/9m；90days/12m；30+监测（适用于续贷产品或催收评分卡） 监测所使用的统计量：可使用AUC,KS来监测评分卡模型在样本上的预测效果。

3. 拒绝原因

针对每个变量，根据其取值，按照样本量平均分为3~5组，计算每一组中的平均得分。对每一个客户的各个变量，根据实际值落入的组判断对应的平均分X, 再减去该变量各组平均分的最小值X_min, X-X_min为该变量对应的差值。将每个变量对应的差值从高到低排序，输出头三个不同的拒绝原因。例如，最近120天内查询这个变量，根据其样本中的取值，可以分为5组，每组中的平均分数如下：

某客户，其最近120天内查询次数为4次，落入第四组，该组平均得分为14.36，全部5组中，最低分为7.3，所以该客户这个变量对应的差值为7.06. 对应的拒绝原因为“近期征信查询过多”。将该客户的所有变量按照同样的方法计算差值，再排序，可得到输出的拒绝原因。
该部分代码主要监测被拒绝客户的拒绝原因，以及被评分卡拒绝的客户的拒绝原因明细。

上线后监控

信用评分模型监控模型是基于过去的数据来预测未来，但随着外部环境变化，如市场波动；评分卡模型在开发上线之后，需要定期进行监控报告，当异常情况出现时要进行适当维护，确保评分卡能有效的识别客户信用风险。

前段监控报告

观察申请客户或近期客户与评分卡建模样本是否一致或呈现稳定形态。

1、评分分布
分析目的在于监控固定时期每一个分数段的核准率。
2、稳定性分析
分析目的：在于衡量两段时间（模型开发样本期间与目前）申请客户的客层变化，作为评分卡有效性的早期预警，并了解核准率及不良率的变动是否来自于客群的变动。
判断标准：
若PSI<0.1，表示客户群体从模型开发到实施的稳定性较高；
若0.1<= PSI <=0.25，表示客户群体发生了一定的变化；
若PSI >0.25, 表示客户群体发生较大变化。
3、变量稳定度分析
包括单变量分析和所有变量分析，了解客群稳定性偏移原因。
4、人工干预评分分析
了解改写的原因及审视改写的政策
5、数据输入错误率分析

前端分析
1.评分卡模型监控主要可以分为前端分析(Front-End)和后端分析(Back-End)
2.前端分析关注样本人群的稳定性，指标主要有PSI和CSI
3.PSI用来衡量分数在开发样本和近期样本上的分布变化，反映了分数分布的稳定性
4.PSI可以通过经验阈值来判断模型是否稳定
5.CSI用来衡量样本在特征层面上的分布变化，反映了特征对评分卡分数变化的影响
6.影响CSI计算结果的因素除了特征分布的变化外，还包括特征对主模型得分的贡献
7.CSI无法通过经验阈值判断变化大小，可以比较不同时间段的波动来判定模型偏移方向

评分卡模型监控主要可以分为前端分析(Front-End)和后端分析(Back-End)，其中前端分析主要关注人群的稳定性，后端分析主要关注模型的影响和表现。本文介绍前端分析。

前端分析关注样本人群的稳定性，指标包括：PSI(Population Stability Index)和CSI(Characteristic Stability Index)

1.Population Stability Index

Population Stability Index，群体稳定性指标，简称PSI。用来衡量分数在开发样本和近期样本上的分布变化，反映了分数分布的稳定性。

仔细观测一下，PSI和IV的表达式实际是一样的，来源都是相对熵(KL散度)，其实就是衡量了两个概率分布的差异。我们再做一次展开：

注：KL散度是两个概率分布间差异的非对称性度量，这里是两个分布互为基准的和，是个对称的衡量指标，跟IV值是一样的。

PSI计算的是远期客户和近期客户的分布差异，理论上两个分布应该很接近，但因为外部环境的变化等种种原因，变量的分布有时会随时间而发生偏移。因此PSI值越小，代表实际分布与预期分布越接近。

介绍完原理，我们给出PSI具体计算步骤：

1. 选定基准样本(Beachmark)作为预期分布(Excepted)，一般以训练样本作为Beachmark2. 对预期分布(评分)进行分箱，得到每箱样本占比(该箱样本数/总样本数)；一般按照等频方法(每箱的样本数相等)进行分箱，箱数一般设为103. 按预期分布分箱阈值对实际分布(Actual)进行分箱，计算每箱样本占比4. 按公式 (实际占比-预期占比)/LN(实际占比/预期占比) 计算每箱的Index
   5. 累加每箱的Index得到最后的PSI

举个例子：

将评分等频分为10个箱子，计算实际分布于预期分布的index，最后求和PSI=0.01

那么评判标准是什么呢，伟大的探路者给我们总结以下经验阈值：

PSI Inference Stable Action
小于0.1 分布变化轻微 稳定性好 不需要
0.1~0.25 分布变化较小 略不稳定 监控后续变化
大于0.25 分布变化较大 不稳定 进行特征项分析
2.Characteristic Stability Index

CSI
Characteristic Stability Index，特征稳定性指标，简称CSI。用来衡量样本在特征层面上的分布变化，反映了特征对评分卡分数变化的影响。

当评分卡主模型分数发生变化时，计算每个特征CSI，可以知道哪些特征分布发生变化从而导致的评分卡主模型分数偏移。因此监控特征的CSI指标可以在评分卡主模型发生偏移时快速定位问题。

仔细观测CSI表达式，该指标由两方面因素构成，一方面是预期分布与实际分布的差异，这一项跟PSI一样；另一方面，该指标大小会受箱子的评分决定，也就是由箱子的woe和该变量的拟合系数共同决定。

也就是说，影响CSI计算结果的因素除了特征分布的变化外，还包括特征对主模型得分的“贡献”。也如此，CSI没有类似PSI的经验阈值来判定分布变化的大小。

再进一步，由于变量箱子对应的评分有正负，可以反应该特征当前分箱分布的变化对模型整体分数的影响。当该特征的CSI为正时，则表明该特征分布变化使模型得分往高分偏移，当CSI为负时，则相反。

我们可以通过时间维度上比较某一个特征的CSI变化值：

通过作图可以发现，该特征CSI随着时间在逐步下降，也就是向下迁移。
————————————————
版权声明：本文为CSDN博主「weixin_39737317」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_39737317/article/details/112771459

后端监控报告

观察模型对申请客户或近期客户的信用风险识别能力。

1、评分卡区分度分析。
监控当前评分卡是否仍然有良好的预测能力。

2、逾期分析报表：
逾期分析报表有几个不同类型:按评分分段；按账龄；按特征；

按评分分段：监控申请分段的逾期情况

按账龄：监控不同时间段进件的逾期情况

按特征：监控变量是否有效，分析评分卡区分能力变化的原因。

后端分析

1.评分卡模型监控主要可以分为前端分析(Front-End)和后端分析(Back-End)
2.后端分析包含账龄分析(Vintage)和组合分析(Portfolio)
3.Vintage有三个维度，行、列、对角线
4.Vinatge的行表明用户生命周期效应，体现了用户成熟过程中发生的变化
5.Vinatge的列表明了新账户效应，体现了拥有相同账龄用户随时间而发生的变化
6.Vinatge的对角线表明了组合效应，体现了相同时期拥有不同账龄用户的组合变化
7.Vintage分析可以找到用户风险释放期和分析风险变化的因素
8.组合分析包括逾期分布和转移矩阵
9.逾期分布提供总览的作用，反映了当前情况下的风险分布
10.转移矩阵是描述逾期分布在时间上发生变化具体的转移情况，包括滚动率(Roll Rate)和迁徙率(Flow Rate)
11.滚动率侧重于分析客户逾期程度的变化,迁移率侧重于分析客户状态的发展变化路径
12.滚动率分析是从某个观察点之前的一段时间(称为观察期)的最坏状态向观察点之后的一段时间(称为表现期)的最坏状态的发展变化情况
13.滚动率分析还可以定义客户好坏程度
14.从迁徙率可以估算资产损失
评分卡模型监控主要可以分为前端分析(Front-End)和后端分析(Back-End)，其中前端分析主要关注人群的稳定性，后端分析主要关注模型的影响和表现。本文介绍后端分析。
后端分析主要是对模型表现进行监控，观察资产的变化情况，主要包括账龄分析(Vintage)和组合分析(Portfolio)，这其中会介绍关联的两个重要指标迁徙率(Flowrate)和滚动率(Roll Rate)。

1.账龄分析(Vintage)

介绍Vintage前，需要对一些风控概念做介绍。

概念1：MOB(Month on Book)：在账月份
也叫做账龄，通常上，可以分两种定义。方法一是MOB0为放宽日至当月月底，MOB1是放款后第二完成的月份，以此类推；方法二是以放宽日开始的一个月（通常30天）作为一个周期。
例如放款日是20190506，按照方法一，MOB0就是20190506~20190531，MOB1是20190601~20190630,以此类推；按照方法二，MOB1是20190506~20190606.

方法一的统计方法关注的是固定时间节点的用户的具体表现，方法二的统计方法关注的是用户具有统一的表现期。
概念2：FPD(First Payment Deliquency)：首次还款逾期
用户放款通过后，首笔需要还款的账单的逾期情况。比如FPD7+表示用户首期还款日到期后逾期7天及以上。在反欺诈上，通常用FPD15+或FPD30+作为训练指标
概念3：DPD(Days Past Due)：逾期天数
自还款日次日起到实还日期间的天数。
这里需要注意的是，在统计逾期时，还细分为期中ever逾期和期末时间点逾期两种。期中ever逾期是指，如果用户在该周期内发生过M1（M2，M3等），不管到期末时间点是否结清，都认为该用户在该周期内逾期了。期末时间点逾期是指统计用户在期末这个时间点是否处于M1（M2，M3等）状态。
一句话总结，期中ever逾期表示周期动态过程的指标，期末时间点逾期表示周期期末静态的指标。

举个例子，某个8月10号放款的用户，在MOB1（9月）期间内逾期8天（应还9月10号，实还9月18号），那么ever逾期就是DPD8，期末观察DPD为0，即处于非逾期状态。

概念4：M0,M1,M2,…,Mn：逾期期数
MO表示当前未逾期（也用C表示），M1表示逾期1-30天，M2表示逾期31-60天，M3表示61-90天，M4+表示逾期90天以上。**

**概念5：逾期金额

统计口径也有两种：某期发生逾期时，一种是计提所有剩余未还本金作为逾期金额；另一种是只计提截止到该期的未还本金
基于这些概念，我们构造Vinage指标，一般以一张二维表和一张图展示，下面给出示例：

Vintage的三维度：

行：表明用户生命周期效应，体现了用户成熟过程中发生的变化
列：表明了新账户效应，体现了拥有相同账龄用户随着时间改变而发生的变化
对角线：表明了组合效应，体现了相同时期拥有不同账龄用户的组合变化
从Vintage解析风控：

找到用户风险释放期：从MOB8开始，大部分月份的逾期率趋于稳定，这说明8个月的表现期，用户的风险基本都暴露完全了。这对我们建模过程中确定样本表现期具有指导作用，也确定数据测试样本的周期选取跨度

分析风险变化的因素：201803月份的账龄曲线明显高于其他月份，可能是因为环境发生了变化，也可能是因为公司放松了政策或者遭受欺诈事件，导致风险升高；再观察5~7月份逾期指标降低，说明可能是因为政策收紧或风控水平提升导致的
一般会结合风控大事记寻根溯源，分析波动异常的原因，从而找到对策。

2.组合分析(Portfolio)

组合分析包括逾期分布（Delinquency Distribution）和转移矩阵（Transition Matrix）

逾期分布主要是用能体现风险的指标描述账户分布

注：数据属于捏造，如有雷同，纯属巧合
逾期分布主要提供总览的作用，反映了当前情况下的风险分布。是其他后端分析的基础，其内容可做滚动率分析(Roll Rate)。我们下面介绍一下。

滚动率分析是从某个观察点之前的一段时间(称为观察期)的最坏状态向观察点之后的一段时间(称为表现期)的最坏状态的发展变化情况

来源：Vintage、滚动率、迁移率的应用
举个例子：

从该表可以看出：
1、正常的客户，在未来6个月里，有94%会保持正常状态；
2、逾期1期的客户，未来有63%会回到正常状态，即从良率为63%，有22%会恶化；
3、逾期2期的客户，从良率为41%，有36%会恶化；
4、逾期3期的客户，从良率为13%，有39%会恶化；
5、逾期4期及以上的客户，从良率仅为1%，有95%会继续此状态。
由此，滚动率分析还可以对客户好坏程度进行定义.
因为M4+用户逾期程度减轻的概率非常低，只有4.8%，所以在建模的过程中，坏客户可以定义为M4+
转移矩阵是描述逾期分布在时间上发生变化具体的转移情况。
滚动率分析其实就是一种特殊的转移矩阵情况。滚动率分析就是在给定两个时间窗口（观察期和表现期）的情况下，观察用户违约程度的变化（保持、变好、变差）
迁徙率分析(Flowrate)和滚动率一样，也是一种转移矩阵情况。滚动率侧重于分析客户逾期程度的变化,迁移率侧重于分析客户状态的发展变化路径。
举一个例子说明：


来源：Vintage、滚动率、迁移率的应用
迁徙率计算公式：Mi~Mj:当期的Mj/上期的Mi
比如2018年7月M0~M1的迁移率=41110122/171325636=24%。
观察这张表可以发现，M3~M4的迁移率较高，应该是逾期超过90天，过了黄金催收期，所以逾期恶化程度较高，但M4~M5的迁移率突然降低了不少，有可能是委外催收起到了一定效果所致。
基于迁徙率，可以进一步算出损失率(假定M7将以10%的价格收回)：

| 周期

| 迁徙率平均值

| 损失率

| 净损失率

| | —- | —- | —- | —- | | M0

| 16.06%(M0~M1)

| 0.61%

| 0.55%

| | M1

| 29.27%(M1~M2)

| 3.79%

| 3.41%

| | M2

| 42.28%(M2~M3)

| 12.94%

| 11.64%

| | M3

| 81.71%(M3~M4)

| 30.60%

| 27.54%

| | M4

| 52.75%(M4~M5)

| 37.45%

| 33.70%

| | M5

| 82.51%(M5~M6)

| 71.00%

| 63.89%

| | M6

| 86.05%(M6~M7)

| 86.05%

| 77.44%

|

其中0.61%=16.06%29.27%42.28%81.71%52.75%82.51%86.05%；
3.79%=29.27%42.28%81.71%52.75%82.51%*86.05%。其他以此类推。
根据资产损失率可以估计资产预计损失

比如2018年12月的预计损失(M0~M6资产和净损失率的加权求和）：
3671628090.55%+472304303.41%+1484867811.64%+601149927.54%+461403833.70%+232645463.89%+1586471*77.44%=11273470
故拨备率 = 11273470/443823814 = 2.54%
参考资料：
https://zhuanlan.zhihu.com/p/95800018
https://mp.weixin.qq.com/s/KefG_8krBBaFl0LCi2L2WA

早期预警

评分卡区分度在上线之初，由于表现期过短，无法显示出模型质量，需要加入早期预警指标来监控：一般模型的表现期为9-18个月，用来确定样本好坏，若表现期未满，坏客户数量不足，整体坏账率偏低，影响评分卡区分力评估。
早期预警评估指标：

1、坏账率是否按评分卡分段从高到低顺序排列。
2、变量分段分值是否按照好坏比（Odds）顺序排列。
————————————————
版权声明：本文为CSDN博主「陆一可」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/q337100/article/details/80805054

信用风险部门可以获得大量报告，包括各种漂移报告，绩效报告和投资组合分析（表1）。两个最典型的报告的例子是群体稳定性和性能跟踪。群体稳定性衡量群体中信用评分随时间的变化。稳定性报告会生成一个指标，显示群体变化导致的客户行为变化幅度。任何重大转变都会建立一个请求模型重新设计的警报。性能跟踪报告是后端报告，需要足够的时间让客户账户成熟，以便评估客户的表现。其目的是双重的;首先，它通过评估评分卡是否仍然能够按风险对客户进行排名来测试评分卡的功能，其次，它通过比较建模时已知的预期违约率与当前违约率来测试准确性。

表1.评分卡监控报告
模型监控面临的挑战是变更请求与其实施之间的时间延迟。 生产环境中运行的每个模型（图1）的监控流程任务的复杂性（包括生成报告，访问相关数据源，模型管理，报告调度程序，模型降级警报和可视化报告的代码）是一个苛刻和挑战性的过程。 这是贷款人将模型监控能力外包或投资于自动化流程的主要动机，这种自动化流程通过最少的人力来促进模型监控。

信用评分模型监控报告可以从观察期间的稳定度（前端监控报告）与表现期间的鉴别度(后端监控报告)两个方面对各项指标进行监控。