首页 / 从零到前沿 ML 自学课程 · 阶段0:数学与工具基础

模块 1 · 线性代数与微积分

用"几何直觉 + 动手计算"打通向量 → 矩阵 → 特征值/SVD → 梯度 → 矩阵求导 → 亲手实现反向传播
📍 你在这里:完整路线共 6 阶段 / 14 模块。当前 = 阶段0 · 模块1(线性代数与微积分),整条路线的第一站。学完它,你将具备读懂后续深度学习/Transformer/扩散/LLM 所需的全部数学语言;下一站是 模块2 · 概率统计、信息论与最优化(含 RL 速成)

本模块共 10 课,循序渐进。每课都是学习产出(开头)+ 公式(MathJax)+ 示意图 + 已解例题 + 可在浏览器内直接运行/可改的 NumPy 练习 + 调一调观察现象 + 掌握自检 + 可以先放过的点(结尾),并都经过逐条数学对抗校验。右下角"Python 实验台"小窗可随手验证。

1向量——机器学习的原子
万物皆向量;三种视角、范数、加法数乘、span/基、点积与余弦相似度
能力点向量化思维——一切建模的起点(数据点/嵌入/权重都是向量)
2矩阵即线性变换
矩阵=变换;列=基向量落点、行列式、复合、秩与零空间
能力点矩阵 = 线性变换——看懂神经网络每一层 Wx+b 在做什么
3内积、范数与投影
内积/范数族、正交、投影、最小二乘几何
能力点度量与正则化的几何——L2 损失、权重衰减、余弦相似度、最小二乘
4特征值与特征向量
不动方向、对角化、谱定理、PCA、稳定性
能力点谱视角——PCA、协方差,以及梯度消失/爆炸的根因
5SVD 与低秩压缩
U Σ Vᵀ 几何、Eckart-Young、条件数、LoRA 根基
能力点SVD——PCA 与 LoRA 低秩微调的共同数学根基
6导数与梯度
偏导、梯度最速上升、等高线正交、梯度下降
能力点梯度下降——训练一切模型的引擎
7雅可比与海森
向量值导数、曲率、凸性、临界点判别
能力点二阶信息——用曲率理解优化为何有难有易
8链式法则与计算图
计算图、反向传播原理、为何反向模式高效
能力点反向传播为何成立、为何高效(反向模式 = 一串 VJP)
9矩阵求导
布局约定、核心公式、线性层与 softmax+CE 梯度
能力点整层网络的梯度——矩阵求导与 ∂L/∂W 同形约定
10亲手实现反向传播
两层网络前向+反向、梯度检查、纯 NumPy 训练
能力点阶段0 capstone——不靠框架,亲手实现 .backward()