W14 · MODELING

机器学习:从特征到可复现预测Pipeline · Split · Metrics · Leakage

机器学习的核心不是调用 fit,而是把数据切分、预处理、模型和评价组织成无泄漏管线,并让指标对应真实决策成本。

实证与机器学习第 13 次课课后自学课堂验收
0 / 0 已完成
01

知识范围 · 交互图谱

Know the map before details

学完后大致能做到

区分监督学习、特征、标签与预测时点
把缺失处理、标准化与模型封装进 Pipeline
使用分层训练/测试切分并设基线模型
根据类别不平衡解释 ROC-AUC、PR-AUC、precision 与 recall
02

零基础起步

Start small · bring real progress

不要等到「全部学会」才开始

先完成最小动作。哪怕没有成功复现,也请保留报错、截图和尝试过程;课堂可以展示卡点、旁听提问,并继续获得积分。

先迈一步

只做第一步也可以

写清预测对象、预测时点、标签窗口与不可使用字段

保留真实输出或卡点,带到课堂;不要求一次完成全部。
完整复现

做出核心结果

对合成信用数据建立无泄漏的逻辑回归 Pipeline,比较多数类基线,报告 ROC-AUC、PR-AUC 与指定阈值下的混淆矩阵。

成功复现可获得「复现 +1」,并具备展示资格。
自由拓展

想多做再继续

用 TimeSeriesSplit 模拟时间外验证

有拓展 +1,多拓展 +2;不影响零基础起步。

实验目标

对合成信用数据建立无泄漏的逻辑回归 Pipeline,比较多数类基线,报告 ROC-AUC、PR-AUC 与指定阈值下的混淆矩阵。

credit_risk.csv(合成教学数据)

完整复现步骤

写清预测对象、预测时点、标签窗口与不可使用字段
分层划分训练/测试,测试集先封存
用 ColumnTransformer + Pipeline 完成缺失处理、标准化/编码和 LogisticRegression
比较多数类/简单规则基线,报告 ROC-AUC、PR-AUC、precision、recall
选择一个阈值并用漏判/误判成本解释,不使用受保护属性做不当决策
Python · 无泄漏 Pipeline 骨架
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

# TODO: 定义 numeric_cols / categorical_cols
pre = ColumnTransformer([
    ("num", Pipeline([("impute", SimpleImputer()), ("scale", StandardScaler())]), numeric_cols),
    ("cat", OneHotEncoder(handle_unknown="ignore"), categorical_cols),
])
model = Pipeline([("pre", pre), ("clf", LogisticRegression(max_iter=2000))])

展示时可拿出的证据

  • 预测合同与字段可得性表
  • 完整 Pipeline 代码
  • 基线与模型指标表/曲线
  • 阈值选择与业务成本说明

本机自查清单

03

让 AI 一步一步带你做

Copy this starter prompt

循环方式

  • 告诉 AI:我是零基础、使用什么系统、当前做到哪一步
  • 一次只要一个步骤,先看预期结果再执行
  • 把真实输出或报错贴回 AI,不要只说「不行」
  • 把验证过的步骤整理回飞书实验报告
  • 重复:问 → 做 → 报错 → 修正 → 再做
给 AI 的起步提示词
我是金融学院硕士生,计算机零基础。我正在学习《金融编程与计算》W14,本周目标是:实验 12 · 信用风险基线模型。
请把我当作第一次接触这些工具的人,并遵守:
1. 一次只给我一个步骤,不要一次倾倒完整答案。
2. 每一步先用日常语言解释目的,再给可复制的命令或代码。
3. 告诉我正常情况下应该看到什么,以及最常见的一个错误。
4. 如果不知道我的操作系统、目录或安装状态,先问我,不要假设。
5. 等我贴回真实输出或报错后,再判断下一步。
现在只带我完成第一步:写清预测对象、预测时点、标签窗口与不可使用字段
04

问题驱动

这些问题不是课前考试。遇到不懂就问 AI;最后只需能结合自己的操作,说清其中一部分。

Q01

99% 准确率为什么可能是完全没用的模型?

Q02

标准化为什么必须在训练折内拟合?

Q03

标签窗口怎样影响特征可得性?

Q04

逻辑回归作为基线有何价值?

Q05

风控中 precision 与 recall 应如何结合业务成本选择?

05

只交一份实验报告

The learning process is the deliverable

建议结构

  1. 本周目标:我想完成什么,以及最后做到哪一步
  2. 环境:操作系统、软件版本、安装方式与必要依赖
  3. 操作步骤:按真实执行顺序写出可复制的命令或代码
  4. 结果:关键输出、截图及我如何判断它是否正确
  5. 踩坑与克服:现象 → 可能原因 → 实际排查 → 解决办法
  6. 结论:本周学会了什么,仍有什么没有解决
  7. 诚实标注:哪些来自 AI 建议,哪些已由本人亲自验证
下载无表格版报告模板

本周常见坑

  • 先对全体样本标准化再切分
  • 用放款后才产生的字段预测放款前风险
  • 只报 accuracy
  • 不断查看测试集并据此调参

不另交 AI 使用记录

只需在实验报告中诚实标注:哪些步骤来自 AI 建议,哪些已经本人验证,哪些仍未验证。学习过程写好,报告就自然产生。

06

课堂时间全部用于验收

No new lecture · public verification

两次考勤

上课提前 5 分钟点名,下课前 5 分钟再次点名。

自愿共享屏幕

用本人笔记本打开实验报告,展示真实操作、结果或卡点。

现场复现与双分

作者现场运行;同学也可仅凭该文档复现,作者与复现者都加分。

随机拷问与好问题

教师判断掌握程度;旁听同学可提出被采纳的好问题。

本周可能被问

  • 什么是预测时点?
  • 为什么预处理必须在 Pipeline 里?
  • 测试集为什么不能反复看?
  • 类别不平衡时 accuracy 有何陷阱?
  • 阈值改变会怎样移动 precision 与 recall?
07

本周课堂积分

Same rules every week

考勤

上课提前 5 分钟点名,下课前 5 分钟再点名

出勤 +3迟到 +2早退 +2请假 +1旷课 +0
💻

复现

使用 AI 自学,按照教学大纲完成了每周实验任务

成功复现 +1未能复现 +0
🚀

拓展

按照教学大纲完成一项或多项拓展任务

多拓展 +2有拓展 +1无拓展 +0
🖥️

展示

主动共享屏幕展示复现过程,接受核验与拷问

课堂自愿共享屏幕展示 +3无课堂展示 +0
🥇

首讲

每节课堂最先自愿开讲的前 3 人

前 3 人 +1
💡

提问

认真旁听并提出被采纳的好问题

被采纳 +0.5
🔍

拷问

面对面随机拷问 · 反空心化闸门

空心代工 −1一知半解 +1融会贯通 +2
🤝

双分

仅凭文档课堂现场复现

作者与复现者 都 +1
🏆

精选

本周最佳文档

知识库 + 席位 + 署名 + 积分 +3

做一点,也算一点

没有完成全部实验,也可以凭考勤、展示卡点、认真提问和真实回答获得积分;做得越扎实,展示、拓展、拷问、双分和精选带来的激励越多。飞书应用展示过去 30 天积分榜与总积分榜。

08

自由拓展与参考资源

拓展挑战

  • 用 TimeSeriesSplit 模拟时间外验证
  • 比较 class_weight 的影响
  • 绘制阈值—成本曲线