W07 · DATA COMPUTING

Polars:从 Excel 思维到表达式思维Schema · Expressions · Lazy Execution

Excel 适合人眼交互,Polars 适合把清洗规则写成可重复执行的表达式管线。重点不是记 API,而是明确 schema、空值、粒度与变换顺序。

数据计算第 6 次课课后自学课堂验收
0 / 0 已完成
01

知识范围 · 交互图谱

Know the map before details

学完后大致能做到

区分表格外观、DataFrame 与数据 schema
使用 select、filter、with_columns、group_by 与 join
显式处理日期、金额、空值和重复记录
用 scan_* + lazy plan 完成可优化管线并输出 Parquet
02

零基础起步

Start small · bring real progress

不要等到「全部学会」才开始

先完成最小动作。哪怕没有成功复现,也请保留报错、截图和尝试过程;课堂可以展示卡点、旁听提问,并继续获得积分。

先迈一步

只做第一步也可以

用 scan_csv 读取并打印 schema;写下每行粒度与候选主键

保留真实输出或卡点,带到课堂;不要求一次完成全部。
完整复现

做出核心结果

用 Polars 清洗混合日期、货币符号、缺失值和重复记录,生成带质量检查的 Parquet。

成功复现可获得「复现 +1」,并具备展示资格。
自由拓展

想多做再继续

打印并解释 optimized plan

有拓展 +1,多拓展 +2;不影响零基础起步。

实验目标

用 Polars 清洗混合日期、货币符号、缺失值和重复记录,生成带质量检查的 Parquet。

transactions_messy.csv(合成教学数据)

完整复现步骤

用 scan_csv 读取并打印 schema;写下每行粒度与候选主键
清理金额符号与逗号、统一日期、标准化类别,明确 null 策略
去重前后都记录行数;对金额范围、主键唯一性、借贷平衡设置质量门
按月份/类别聚合并解释一个异常点
collect 后写出 clean_transactions.parquet,并用新进程重新读取验证
Python · Polars 惰性管线骨架
import polars as pl

q = (
    pl.scan_csv("transactions_messy.csv", infer_schema_length=0)
      .with_columns(
          pl.col("amount")
            .str.replace_all(r"[¥, ]", "")
            .cast(pl.Float64, strict=False),
          pl.col("date").str.to_date(strict=False),
      )
      .filter(pl.col("amount").is_not_null())
      # TODO: 去重、质量门、聚合
)
df = q.collect()
print(df.schema, df.shape)

展示时可拿出的证据

  • 原始与清洗后 schema 对照
  • 质量门断言及通过结果
  • 清洗前后行数与重复数
  • Parquet 文件与一张聚合表

本机自查清单

03

让 AI 一步一步带你做

Copy this starter prompt

循环方式

  • 告诉 AI:我是零基础、使用什么系统、当前做到哪一步
  • 一次只要一个步骤,先看预期结果再执行
  • 把真实输出或报错贴回 AI,不要只说「不行」
  • 把验证过的步骤整理回飞书实验报告
  • 重复:问 → 做 → 报错 → 修正 → 再做
给 AI 的起步提示词
我是金融学院硕士生,计算机零基础。我正在学习《金融编程与计算》W07,本周目标是:实验 05 · 脏交易流水清洗与质量门。
请把我当作第一次接触这些工具的人,并遵守:
1. 一次只给我一个步骤,不要一次倾倒完整答案。
2. 每一步先用日常语言解释目的,再给可复制的命令或代码。
3. 告诉我正常情况下应该看到什么,以及最常见的一个错误。
4. 如果不知道我的操作系统、目录或安装状态,先问我,不要假设。
5. 等我贴回真实输出或报错后,再判断下一步。
现在只带我完成第一步:用 scan_csv 读取并打印 schema;写下每行粒度与候选主键
04

问题驱动

这些问题不是课前考试。遇到不懂就问 AI;最后只需能结合自己的操作,说清其中一部分。

Q01

DataFrame 与 Excel 工作表最本质的差别是什么?

Q02

为什么读入后第一步应看 schema 而不是直接画图?

Q03

惰性执行如何让「只读两列、只取部分行」更快?

Q04

左连接后行数变多通常说明什么?

Q05

缺失值能否一律填 0?

05

只交一份实验报告

The learning process is the deliverable

建议结构

  1. 本周目标:我想完成什么,以及最后做到哪一步
  2. 环境:操作系统、软件版本、安装方式与必要依赖
  3. 操作步骤:按真实执行顺序写出可复制的命令或代码
  4. 结果:关键输出、截图及我如何判断它是否正确
  5. 踩坑与克服:现象 → 可能原因 → 实际排查 → 解决办法
  6. 结论:本周学会了什么,仍有什么没有解决
  7. 诚实标注:哪些来自 AI 建议,哪些已由本人亲自验证
下载无表格版报告模板

本周常见坑

  • infer_schema 把混合类型列猜错
  • 直接 drop_nulls 导致有业务意义的行消失
  • join 前未检查键的唯一性
  • 先 collect 全表再过滤,失去惰性优化

不另交 AI 使用记录

只需在实验报告中诚实标注:哪些步骤来自 AI 建议,哪些已经本人验证,哪些仍未验证。学习过程写好,报告就自然产生。

06

课堂时间全部用于验收

No new lecture · public verification

两次考勤

上课提前 5 分钟点名,下课前 5 分钟再次点名。

自愿共享屏幕

用本人笔记本打开实验报告,展示真实操作、结果或卡点。

现场复现与双分

作者现场运行;同学也可仅凭该文档复现,作者与复现者都加分。

随机拷问与好问题

教师判断掌握程度;旁听同学可提出被采纳的好问题。

本周可能被问

  • DataFrame 的 schema 是什么?
  • lazy 与 eager 的区别是什么?
  • 数据粒度为什么要先于聚合定义?
  • 左连接后行数变多可能是哪类关系?
  • null、NaN、0 与空字符串有何差别?
07

本周课堂积分

Same rules every week

考勤

上课提前 5 分钟点名,下课前 5 分钟再点名

出勤 +3迟到 +2早退 +2请假 +1旷课 +0
💻

复现

使用 AI 自学,按照教学大纲完成了每周实验任务

成功复现 +1未能复现 +0
🚀

拓展

按照教学大纲完成一项或多项拓展任务

多拓展 +2有拓展 +1无拓展 +0
🖥️

展示

主动共享屏幕展示复现过程,接受核验与拷问

课堂自愿共享屏幕展示 +3无课堂展示 +0
🥇

首讲

每节课堂最先自愿开讲的前 3 人

前 3 人 +1
💡

提问

认真旁听并提出被采纳的好问题

被采纳 +0.5
🔍

拷问

面对面随机拷问 · 反空心化闸门

空心代工 −1一知半解 +1融会贯通 +2
🤝

双分

仅凭文档课堂现场复现

作者与复现者 都 +1
🏆

精选

本周最佳文档

知识库 + 席位 + 署名 + 积分 +3

做一点,也算一点

没有完成全部实验,也可以凭考勤、展示卡点、认真提问和真实回答获得积分;做得越扎实,展示、拓展、拷问、双分和精选带来的激励越多。飞书应用展示过去 30 天积分榜与总积分榜。

08

自由拓展与参考资源

拓展挑战

  • 打印并解释 optimized plan
  • 把质量门封装成可复用函数
  • 同一任务用 pandas 重写并比较内存/表达方式