内积、范数与投影

1. 开场：给空间装上"尺子"和"量角器"

上一课我们学会把矩阵看成线性变换 linear transformation——它把整个空间拉伸、旋转、剪切。但变换前后，我们还缺一样东西：度量。两个向量有多长？它们之间夹角多大？谁离谁更近？谁和谁垂直？这些"几何问题"，统统由一个运算回答——内积 inner product。

2. 内积：定义、公理与几何意义

2.1 从点积说起

上一模块我们见过两个向量 \(a=[a_1,\dots,a_n]\) 与 \(b=[b_1,\dots,b_n]\) 的点积 dot product：

它的几何意义是这条核心公式（请把它刻进脑子）：

其中 \(\theta\) 是两向量的夹角。点积同时编码了长度和方向一致程度：同向为正、垂直为零、反向为负。

2.2 内积的三条公理

"点积"是 \(\mathbb{R}^n\) 上最常用的内积，但数学家把内积抽象成三条公理——任何满足这三条的运算 \(\langle a,b\rangle\) 都配叫内积，都能据此定义长度和角度（本课默认在实向量空间 \(\mathbb{R}^n\) 上讨论；复数域上的内积需对一个参数取共轭，是后话）：

这里只写了对第一个参数线性，是因为有了对称性，对第二个参数的线性可以白送地推出来（把两个参数换个位置即可），所以只需写一边。两个参数都线性的性质合称双线性 bilinear。对标准点积，这三条都是显然的：交换求和顺序得对称；求和对加法和数乘线性；而 \(\langle a,a\rangle=\sum a_i^2\ge 0\) 且仅当所有 \(a_i=0\) 才为零——这正是"正定"，它保证了"长度永远非负、只有零向量长度为零"这件天经地义的事。

3. 范数：长度的多种定义

范数 norm \(\|x\|\) 是"向量长度"的一般化，它给每个向量一个非负实数，满足：非负（\(\|x\|\ge0\)，仅零向量为零）、齐次（\(\|\alpha x\|=|\alpha|\,\|x\|\)）、三角不等式（\(\|x+y\|\le\|x\|+\|y\|\)）。同一个向量，可以用不同的"尺子"量出不同的长度：

3.1 单位球：菱形 / 圆 / 正方形

理解范数差异的最好方式，是画出每把尺子下"长度恰好为 1"的所有点——它们构成该范数的单位球 unit ball（在二维就是一条单位圈的边界）。三者形状迥异：

• L1：菱形（正方形旋转 45°）。\(|x_1|+|x_2|=1\) 在四个坐标轴方向顶到最远，尖角恰好落在坐标轴上。
• L2：圆。\(x_1^2+x_2^2=1\)，各方向完全平等、光滑无尖角。
• L∞：正方形（边平行于坐标轴）。\(\max(|x_1|,|x_2|)=1\)，四条边在 \(\pm1\) 处。

一个稳定的包含关系：\(\|x\|_\infty\le\|x\|_2\le\|x\|_1\)（同一向量，L∞ 最小、L1 最大），对应单位球"L1 菱形 ⊂ L2 圆 ⊂ L∞ 正方形"的嵌套。

4. 单位向量与归一化

长度为 1 的向量叫单位向量 unit vector。把任意非零向量 \(v\) 除以它自己的（L2）长度，就得到同方向的单位向量，这一步叫归一化 normalization：

归一化"丢掉长度、只保留方向"。它在 ML 里无处不在：余弦相似度先把向量归一化再比方向；批归一化 / 层归一化把激活值缩放到统一尺度；嵌入向量常被归一化到单位球面上以便比较。

5. 正交：垂直的代数判据

当 \(\cos\theta=0\) 即 \(\theta=90^\circ\) 时，由 \(a\cdot b=\|a\|\|b\|\cos\theta\) 立刻得到最简洁的正交 orthogonal判据：

无需画图、无需算角度——点积为零就是垂直。两个推广概念：

• 正交基 orthogonal basis：一组互相垂直的基向量。
• 标准正交基 orthonormal basis：互相垂直且每个都是单位向量。若把它们排成矩阵 \(Q\) 的列，则 \(Q^\top Q = I\)（每列自己点积为 1，不同列点积为 0）。这种矩阵叫正交矩阵，它代表纯旋转 / 反射，不改变长度和角度——是数值上最"乖"的变换。

6. 投影：把一个向量压到另一个方向上

给定方向 \(a\) 和目标 \(b\)，我们想找 \(b\) 落在 \(a\) 这条直线上的"影子"。把 \(b\) 分解成两部分：沿 \(a\) 的分量 + 垂直于 \(a\) 的残差 residual。

标量投影 scalar projection（影子的带符号长度）：

投影向量 projection vector（影子本身，方向沿 \(a\)）：

关键性质：残差 \(r=b-\operatorname{proj}_a(b)\) 与 \(a\) 正交。因为投影定义的本意就是"沿 \(a\) 走到离 \(b\) 最近的点"，而到直线的最短距离一定是垂直落下的——这就是投影与最小化误差之间的纽带，下一节我们会把它放大成最小二乘。

6.1 投影到子空间：投影矩阵

把"一条直线"换成"一个子空间"（比如某矩阵 \(A\) 的列空间 column space，即 \(A\) 各列张成的平面/超平面），投影公式从标量推广成矩阵：

这里要求 \(A\) 的列线性无关，\(A^\top A\) 才可逆（否则得改用伪逆 / SVD，第 7 节末尾会再提一句）。别被它吓到，把它和单数版本对照就懂了：单向量时 \(\operatorname{proj}_a(b)=a\,(a^\top a)^{-1}a^\top b\)（这里 \(a^\top a=\|a\|^2\) 是个标量），矩阵版只是把标量 \(\|a\|^2\) 换成了矩阵 \(A^\top A\)。直觉拆解：

• \(A^\top b\)：把 \(b\) 和每个列向量做内积，量出"在各列方向上有多少分量"。
• \((A^\top A)^{-1}\)：修正各列之间不正交、不等长带来的"串扰"。
• 左乘 \(A\)：用修正后的系数把这些列向量加回去，得到真正落在列空间里的影子。

投影矩阵有两个漂亮性质：幂等 idempotent \(P^2=P\)（影子再投影还是它自己——已经在子空间里了）和 \(P^\top=P\)（对称）。若 \(A\) 的列本就标准正交（\(A^\top A=I\)），公式直接坍缩成 \(P=AA^\top\)——这又一次印证了"标准正交基让一切变简单"。

7. 最小二乘：把目标投影到列空间

现在到本课的高潮。我们想解 \(A w = b\)，但现实里 \(b\) 几乎从不恰好落在 \(A\) 的列空间里（数据有噪声、方程比未知数多）。于是退而求其次：找 \(w\) 让 \(Aw\) 尽量接近 \(b\)，即最小化误差的 L2 长度

几何上，\(Aw\) 只能在列空间这张"平面"上滑动，而 \(b\) 通常悬在平面外。离 \(b\) 最近的平面内的点，就是 \(b\) 在列空间上的投影——此时误差向量（残差）必须垂直于整个列空间：

这就是大名鼎鼎的正规方程 normal equations。"normal"在数学里正是"垂直"的意思——它说的就是"残差与列空间正交"这一句几何事实。把 \(w\) 代回 \(Aw=A(A^\top A)^{-1}A^\top b=Pb\)，正好是上一节的投影矩阵。最小二乘 = 投影到列空间，两件事是同一件事的代数面与几何面。

8. Gram-Schmidt：把任意基"扶正"成标准正交基

我们反复看到标准正交基让公式变干净，那如何制造一组标准正交基？Gram-Schmidt 正交化给出一条朴素的流水线：逐个拿来基向量，减掉它在已正交化向量上的投影，剩下的残差自然垂直于前面所有向量；最后各自归一化。

对两个向量 \(a_1, a_2\)：

再令 \(q_i=u_i/\|u_i\|\) 得标准正交基。"减去投影"用的就是第 6 节的投影向量，"剩下的垂直"用的就是残差正交性——整套技术全是本课零件的拼装。

9. 动手：用 NumPy 算范数、投影与最小二乘

import numpy as np

# ---------- 范数族 ----------
v = np.array([3., -4., 0., 12.])
print("L1   =", np.linalg.norm(v, 1))     # 19
print("L2   =", np.linalg.norm(v, 2))     # 13
print("Linf =", np.linalg.norm(v, np.inf))# 12

M = np.array([[1., 2.], [2., 1.]])
print("Frobenius =", np.linalg.norm(M))   # sqrt(10) ≈ 3.162

# ---------- 把 b 投影到 a ----------
a = np.array([2., 1.]); b = np.array([3., 4.])
coef = (a @ b) / (a @ a)        # 标量系数 = 2
proj = coef * a                 # 投影向量 = [4, 2]
resid = b - proj                # 残差 = [-1, 2]
print("proj_a(b) =", proj)
print("residual  =", resid)
print("residual . a =", resid @ a)   # 0 -> 正交

# ---------- 余弦相似度 ----------
cos = (a @ b) / (np.linalg.norm(a) * np.linalg.norm(b))
print("cos(theta) =", round(float(cos), 4))   # 0.8944

import numpy as np

# ---------- 用正规方程拟合直线 y = w0 + w1*x ----------
x = np.array([0., 1., 2., 3.])
y = np.array([1., 3., 4., 6.])
X = np.column_stack([np.ones_like(x), x])     # 行=样本, 第1列=常数项

# 正规方程  w = (X^T X)^{-1} X^T y
w = np.linalg.inv(X.T @ X) @ (X.T @ y)
print("w (w0, w1) =", w)                       # [1.1 1.6]

pred = X @ w
resid = y - pred
print("预测   =", pred)                         # [1.1 2.7 4.3 5.9]
print("残差   =", resid)                        # [-0.1 0.3 -0.3 0.1]
print("残差与列空间正交:", np.round(X.T @ resid, 8))  # [0. 0.]

# 投影矩阵 P = X (X^T X)^{-1} X^T，验证 Pb == pred
P = X @ np.linalg.inv(X.T @ X) @ X.T
print("P @ y == pred :", np.allclose(P @ y, pred))   # True
print("P 幂等 P@P==P :", np.allclose(P @ P, P))       # True

调一调，观察现象

下面三个小实验都只用 numpy 和 print，几秒跑完。每个都先猜结果，再运行核对——把"投影、范数、共线"这三件事从公式变成你亲眼见过的现象。

import numpy as np
a = np.array([2., 1.])
for b in ([3., 4.], [-1., 2.], [-3., -1.]):
    b = np.array(b)
    c = (a @ b) / (a @ a)
    print(f"b={b}  dot={a@b:5.1f}  coef={c:5.2f}  proj={c*a}")

import numpy as np
x = np.array([0., 1., 2., 3.]); y = np.array([1., 3., 4., 6.])
X = np.column_stack([np.ones_like(x), x, x**2])
for lam in [0., 0.1, 1., 10., 100.]:
    w = np.linalg.inv(X.T @ X + lam * np.eye(3)) @ X.T @ y
    print(f"lambda={lam:6.1f}  ||w||={np.linalg.norm(w):.4f}  w={np.round(w,3)}")

import numpy as np
x = np.array([0., 1., 2., 3.])
X_ok = np.column_stack([np.ones_like(x), x])
print("正常两列 det(X^T X) =", round(np.linalg.det(X_ok.T @ X_ok), 6))
X_bad = np.column_stack([np.ones_like(x), x, 2 * x])   # 第3列 = 第2列的2倍
print("含共线列 det(X^T X) =", round(np.linalg.det(X_bad.T @ X_bad), 6))

动手练习

1. 把 \(b=[1,2,2]\) 投影到 \(a=[2,0,0]\)。手算 \(\operatorname{proj}_a(b)\) 与残差，并用代码核对残差与 \(a\) 正交。

   import numpy as np
   a = np.array([2., 0., 0.]); b = np.array([1., 2., 2.])
   # TODO: 算 coef、proj、resid，并 print(resid @ a)
   

2. 验证 \(\|x\|_\infty\le\|x\|_2\le\|x\|_1\)：随机生成 1000 个五维向量，统计这条不等式是否全部成立。

   import numpy as np
   rng = np.random.default_rng(0)
   X = rng.standard_normal((1000, 5))
   # TODO: 逐行算三种范数, 用布尔数组检查 Linf<=L2<=L1 是否 .all()
   

3. 把第 9 节的拟合改成二次曲线 \(y=w_0+w_1x+w_2x^2\)：在 \(X\) 里加一列 \(x^2\)，重解正规方程，比较残差是否更小。

   import numpy as np
   x = np.array([0., 1., 2., 3.]); y = np.array([1., 3., 4., 6.])
   X = np.column_stack([np.ones_like(x), x, x**2])
   # TODO: w = inv(X.T@X)@X.T@y ; 打印 w 和残差范数
   

4. 实现 Gram-Schmidt：对 \(a_1=[1,1,0],\,a_2=[1,0,1],\,a_3=[0,1,1]\) 正交化，用代码验证结果矩阵 \(Q\) 满足 \(Q^\top Q=I\)。

   import numpy as np
   A = np.array([[1.,1.,0.],[1.,0.,1.],[0.,1.,1.]]).T  # 列为 a1,a2,a3
   # TODO: 循环减去对前面各列的投影, 再归一化, 最后 print(np.round(Q.T@Q,8))
   

5. 岭回归的 λ 扫描：在练习 3 的数据上最小化 \(\|Xw-y\|^2+\lambda\|w\|_2^2\)，闭式解为 \(w=(X^\top X+\lambda I)^{-1}X^\top y\)。取一串递增的 \(\lambda\)，观察权重的 L2 范数 \(\|w\|_2\) 如何随 \(\lambda\) 增大而被往零收缩。

   import numpy as np
   x = np.array([0., 1., 2., 3.]); y = np.array([1., 3., 4., 6.])
   X = np.column_stack([np.ones_like(x), x, x**2])
   # TODO: for lam in [0., 0.1, 1., 10., 100.]:
   #         w = inv(X.T@X + lam*np.eye(X.shape[1])) @ X.T @ y
   #         print(lam, w, np.linalg.norm(w))
   # 观察: lambda 越大, ||w||_2 越小 -> 权重被往零收缩(但不会精确为零)
   

   选做（思考题）：L1 正则（Lasso）能把权重精确压成零，但它没有闭式解，需要坐标下降 / 次梯度等迭代方法（实践中直接用 sklearn.linear_model.Lasso），后续课程会专门讲。这里先体会"圆把权重收小、尖角把权重清零"的差别即可。

掌握自检

• 我能说出内积的三条公理，并解释"正定"为何保证长度非负。
• 给定一个向量，我能心算它的 L1 / L2 / L∞ 范数，并画出二维下三者的单位球（菱形 / 圆 / 正方形）。
• 我能解释为什么 L1 正则产生稀疏、L2 正则只是把权重收小——从单位球尖角的几何说清楚。
• 我能不查公式写出 \(\operatorname{proj}_a(b)=\dfrac{a\cdot b}{\|a\|^2}a\)，并说明残差为何与 \(a\) 正交。
• 我能把"最小二乘"翻译成"把 \(b\) 投影到列空间"，并推出正规方程 \(A^\top A w=A^\top b\) 来自"残差 ⊥ 列空间"。
• 我能用 NumPy 解一个直线拟合，并验证残差与每个特征列正交、投影矩阵 \(P\) 幂等 idempotent。
• 我能描述 Gram-Schmidt 的一步：减投影得残差、残差归一化，从而造出标准正交基。

下一课，我们要问一个新问题：一个线性变换里，有没有某些特殊方向，被变换作用后方向不变、只被缩放？这就是特征值与特征向量 eigenvalue & eigenvector——它会揭示一个变换"骨子里"的样子。