AI模型上线后数据漂移如何识别与应对
上线第三周,模型开始看不懂新用户某银行风控模型上线第三周,审批通过率从18.7%掉到14.2%,坏账率没降,进件量跌了三成。排查后发现不是模型本身的问题,是进件渠道从线下网点转向合作方导流,新客群的收

上线第三周,模型模型开始看不懂新用户
某银行风控模型上线第三周,上线识别审批通过率从18.7%掉到14.2%,后数坏账率没降,据漂进件量跌了三成。移何应对排查后发现不是模型模型本身的问题,是上线识别进件渠道从线下网点转向合作方导流,新客群的后数收入结构、设备环境、据漂申请时段全变了。移何应对训练集里占比六成的模型“稳定工资流水用户”在新流量里只占三成。这就是上线识别典型的数据漂移:模型还在,输入的后数世界已经挪了位置。2024年下半年起,据漂各家做AI应用落地的移何应对团队复盘线上事故,排名前三的原因里数据漂移占了一席,另外两个是特征口径变更和依赖服务超时。它不响警报,不报错,只是让模型每天悄悄变笨一点。
PSI不是多功能药,但要先跑起来
识别漂移最常用的指标是PSI(群体稳定性指数),0.1以下算稳,0.1到0.25需要关注,超过0.25基本就是特征分布已经明显偏移。不过PSI对“整体分布不变但局部结构变了”不敏感。某电商推荐排序模型,用户年龄分布PSI一直稳定在0.08,但18-24岁群体对直播间的点击偏好从第4位升到第1位,模型没捕捉到,CTR两周下滑11%。还有种更隐蔽的漂移叫概念漂移,X到Y的关系变了,比如疫情后“夜间下单”和“高风险退货”的相关性反转了。做AI模型上线后的数据漂移监测方法,不能只盯单指标,要把特征漂移、预测分布漂移、线上业务指标三条线并成一套面板,每周固定时间看一眼。数据量够的团队可以直接上KS检验或对抗验证,用分类器判断样本属于上线初期还是近期,准确率超过0.6就说明漂移已经大到能被打包识别了。
发现漂移了别急着回滚模型
应对分三层。第一层是特征口径的自动比对,线上实时特征和离线训练特征做分钟级抽样,差值超过阈值先提醒,很多时候漂移的“果”是口径不一致的“因”,某物流时长预测模型曾因为埋点改版导致“下单到揽收”字段少算一段,排查了五天。第二层是短期反制,把漂移严重的老特征权重降下来,或引入近期样本做增量更新,但别一次性洗掉全部历史数据,见过团队用最近七天样本全量重训,结果把季节性波动学进去,下个月指标掉得更厉害。第三层是长期机制,在模型卡里强制写入“漂移预算”:每次迭代必须消耗一定数量的线上新样本做对抗验证,验证集里近30天数据占比不低于40%。一个AI模型上线后的数据漂移监测经验分享里常见的坑,是上线当天跑通就以为万事大吉,三个月后才想起来看PSI,报表拉出来已经0.3往上了。回过头看,模型上线后前面两周反而是最需要密集观察的窗口,因为真实流量和回放测试的差异会在这段时间集中暴露。
眼下多数团队的数据漂移监测还停在离线看PSI的阶段,但真正有效的做法是把漂移信号接进A/B实验系统。分组流量里人为注入少量“旧样本重放”,比较模型在重放组和真实组的表现差距,比任何统计量都直观。有能力的团队可以做出个小工具:每天凌晨给模型工程师推一条微信,标题就写“昨天有三个特征离家出走”,比什么周报都管用。