只做第一步也可以
仅在训练集内做 5 折交叉验证，报告均值与标准差
保留真实输出或卡点，带到课堂；不要求一次完成全部。W15 · MODELING
验证、解释与模型风险Cross-validation · Calibration · Model Card
更高分不等于更好模型。要检查跨切分稳定性、概率校准、错误类型、解释边界和治理风险，并把这些写进模型卡。
0 / 0 已完成
01
知识范围 · 交互图谱
Know the map before details学完后大致能做到
用交叉验证估计模型稳定性而非只看一次切分
区分排序能力与概率校准
使用 permutation importance 做模型依赖解释
完成包含用途、数据、指标、限制与风险的模型卡
02
零基础起步
Start small · bring real progress不要等到「全部学会」才开始
先完成最小动作。哪怕没有成功复现，也请保留报错、截图和尝试过程；课堂可以展示卡点、旁听提问，并继续获得积分。
做出核心结果
延续 W14 信用风险任务，比较逻辑回归与一个树模型的稳定性、校准和错误切片；不以单一最高分选模型。
成功复现可获得「复现 +1」，并具备展示资格。想多做再继续
比较 Platt 与 isotonic 校准
有拓展 +1，多拓展 +2；不影响零基础起步。完整复现步骤
仅在训练集内做 5 折交叉验证，报告均值与标准差
比较逻辑回归和树模型的 ROC-AUC/PR-AUC，不盲目大规模调参
画校准曲线或计算 Brier score，检查概率是否可解释
做 permutation importance 和至少两个业务切片的错误分析
填写一页模型卡：用途、禁用场景、数据、指标、限制、风险、监控/停用条件
Python · 稳定性与校准骨架
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.metrics import make_scorer, average_precision_score
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=202609)
scoring = {"roc_auc": "roc_auc", "pr_auc": "average_precision"}
result = cross_validate(model, X_train, y_train, cv=cv, scoring=scoring)
print(result["test_roc_auc"].mean(), result["test_roc_auc"].std())
# TODO: calibration curve / Brier score / permutation importance展示时可拿出的证据
- 交叉验证分布而非单个数字
- 校准证据与阈值说明
- 重要性和错误切片
- 一页模型卡 PDF/Markdown
本机自查清单
03
让 AI 一步一步带你做
Copy this starter prompt循环方式
- 告诉 AI：我是零基础、使用什么系统、当前做到哪一步
- 一次只要一个步骤，先看预期结果再执行
- 把真实输出或报错贴回 AI，不要只说「不行」
- 把验证过的步骤整理回飞书实验报告
- 重复：问 → 做 → 报错 → 修正 → 再做
给 AI 的起步提示词
我是金融学院硕士生，计算机零基础。我正在学习《金融编程与计算》W15，本周目标是：实验 13 · 模型审计与一页模型卡。 请把我当作第一次接触这些工具的人，并遵守： 1. 一次只给我一个步骤，不要一次倾倒完整答案。 2. 每一步先用日常语言解释目的，再给可复制的命令或代码。 3. 告诉我正常情况下应该看到什么，以及最常见的一个错误。 4. 如果不知道我的操作系统、目录或安装状态，先问我，不要假设。 5. 等我贴回真实输出或报错后，再判断下一步。 现在只带我完成第一步：仅在训练集内做 5 折交叉验证，报告均值与标准差
04
问题驱动
这些问题不是课前考试。遇到不懂就问 AI；最后只需能结合自己的操作，说清其中一部分。
一次测试集高分为什么可能只是幸运？
ROC-AUC 高的模型为什么概率仍可能不可信？
特征重要性高是否说明该变量有因果作用？
调参越多为什么越容易过拟合验证集？
模型卡是写给谁看的，谁负责更新？
05
只交一份实验报告
The learning process is the deliverable建议结构
- 本周目标：我想完成什么，以及最后做到哪一步
- 环境：操作系统、软件版本、安装方式与必要依赖
- 操作步骤：按真实执行顺序写出可复制的命令或代码
- 结果：关键输出、截图及我如何判断它是否正确
- 踩坑与克服：现象 → 可能原因 → 实际排查 → 解决办法
- 结论：本周学会了什么，仍有什么没有解决
- 诚实标注：哪些来自 AI 建议，哪些已由本人亲自验证
本周常见坑
- 在测试集上选择模型和阈值
- 只报交叉验证均值，不报波动
- 把 permutation importance 写成因果机制
- 模型卡只写优势，不写禁用场景和停用条件
不另交 AI 使用记录
只需在实验报告中诚实标注：哪些步骤来自 AI 建议，哪些已经本人验证，哪些仍未验证。学习过程写好，报告就自然产生。
06
课堂时间全部用于验收
No new lecture · public verification两次考勤
上课提前 5 分钟点名，下课前 5 分钟再次点名。
自愿共享屏幕
用本人笔记本打开实验报告，展示真实操作、结果或卡点。
现场复现与双分
作者现场运行；同学也可仅凭该文档复现，作者与复现者都加分。
随机拷问与好问题
教师判断掌握程度；旁听同学可提出被采纳的好问题。
本周可能被问
- 交叉验证估计的是什么？
- 为什么时间序列不能普通随机 K 折？
- 区分能力与校准有何不同？
- 特征重要性为何不是因果效应？
- 模型漂移出现后谁应采取什么动作？
07
本周课堂积分
Same rules every week考勤
上课提前 5 分钟点名，下课前 5 分钟再点名
出勤 +3迟到 +2早退 +2请假 +1旷课 +0
复现
使用 AI 自学，按照教学大纲完成了每周实验任务
成功复现 +1未能复现 +0
拓展
按照教学大纲完成一项或多项拓展任务
多拓展 +2有拓展 +1无拓展 +0
展示
主动共享屏幕展示复现过程，接受核验与拷问
课堂自愿共享屏幕展示 +3无课堂展示 +0
首讲
每节课堂最先自愿开讲的前 3 人
前 3 人 +1
提问
认真旁听并提出被采纳的好问题
被采纳 +0.5
拷问
面对面随机拷问 · 反空心化闸门
空心代工 −1一知半解 +1融会贯通 +2
双分
仅凭文档课堂现场复现
作者与复现者 都 +1
精选
本周最佳文档
知识库 + 席位 + 署名 + 积分 +3
做一点，也算一点
没有完成全部实验，也可以凭考勤、展示卡点、认真提问和真实回答获得积分；做得越扎实，展示、拓展、拷问、双分和精选带来的激励越多。飞书应用展示过去 30 天积分榜与总积分榜。
08
自由拓展与参考资源
拓展挑战
- 比较 Platt 与 isotonic 校准
- 设计成本敏感评分函数
- 加入数据漂移监控指标并设阈值