特征值与特征向量

上一课我们用内积刻画了"长度、角度、投影"——把向量放进度量的框架里。这一课我们换个视角：不再问"两个向量之间的关系"，而是问"一个矩阵 \(A\) 作为一种变换，它对空间做了什么"。答案藏在几个特殊方向里——它们是这场变换的不动方向。

而且这一个方程 \(Av=\lambda v\)，后面会一口气解释清楚一串看似无关的前沿现象：PCA 为什么能降维、深度网络为什么会梯度爆炸 / 消失、GAN 的谱归一化到底在归一化什么——它们其实是同一件事的不同侧面。学完这一课，你就拿到了打开这一串概念的同一把钥匙。

1. 一个矩阵就是一种变换

把矩阵 \(A\) 乘到向量 \(v\) 上，得到新向量 \(Av\)。一般来说 \(Av\) 既改变了 \(v\) 的长度，又改变了它的方向——它被"扭"到别处去了。但对某些特殊的方向，事情格外简单：变换只把向量拉长或压短，方向纹丝不动（或恰好反向）。

用式子说：若存在非零向量 \(v\) 和标量 \(\lambda\)，使得

则称 \(v\) 是 \(A\) 的一个特征向量 eigenvector，\(\lambda\) 是对应的特征值 eigenvalue。等号左边是"做变换"，右边是"纯缩放 \(\lambda\) 倍"。特征向量正是那些"被变换 = 被缩放"的方向；\(\lambda\) 就是缩放倍数。

• \(\lambda>1\)：沿该方向被拉长；
• \(0<\lambda<1\)：被压短；
• \(\lambda<0\)：方向反过来（再缩放）；
• \(\lambda=0\)：该方向被压扁到原点，说明 \(A\) 不可逆（核非平凡）。

2. 怎么找它们：特征方程 det(A−λI)=0

把定义改写成 \(Av-\lambda v=0\)，即

这是一个齐次线性方程组。我们要的是非零解 \(v\)。线性代数告诉我们：方阵 \(M\) 有非零解 \(Mv=0\) 当且仅当 \(M\) 不可逆，也就是行列式为零。于是特征值必满足

这叫特征方程 characteristic equation，左边展开是关于 \(\lambda\) 的多项式（特征多项式）。对 \(n\times n\) 矩阵它是 \(n\) 次多项式，所以（在复数范围内、计重数）恰有 \(n\) 个特征值。

2×2 手算流程

设 \(A=\begin{bmatrix} a & b \\ c & d \end{bmatrix}\)。则

展开得到一个二次方程：

注意 \(\lambda^1\) 项带着负号 \(-(a+d)\)，常数项是 \(ad-bc\)。由韦达定理（二次方程根与系数的关系），两根之和与两根之积分别是：

这里冒出两个值得记住的量：\(a+d\) 是矩阵的迹 trace \(\operatorname{tr}(A)\)（主对角线之和），\(ad-bc\) 是行列式 determinant \(\det(A)\)。于是对 2×2 我们得到两条干净结论：两根之和 = 迹，两根之积 = 行列式。这两条既能快速求解，又能事后验算。求出 \(\lambda\) 后，把每个 \(\lambda\) 代回 \((A-\lambda I)v=0\) 解出方向 \(v\)（两行一定成比例，取一行即可）。

3. 特征空间、几何重数与代数重数

对固定的 \(\lambda\)，所有满足 \((A-\lambda I)v=0\) 的向量（含 \(0\)）构成一个子空间，叫 \(\lambda\) 的特征空间 eigenspace。它就是 \(A-\lambda I\) 的零空间，里面装着该特征值的全部特征向量加上原点。

• 代数重数 algebraic multiplicity：\(\lambda\) 作为特征多项式根的重数（在因式分解里出现几次）。
• 几何重数 geometric multiplicity：特征空间的维数（该方向上"独立的特征向量有几根"）。

恒有 \(1\le\text{几何重数}\le\text{代数重数}\)。当某个特征值"几何 < 代数"时（特征向量不够用），矩阵就不可对角化（即下一节要讲的那件事——"换到特征基、让变换变成纯缩放"——做不成，因为凑不齐足够多的独立特征方向当坐标轴），称为亏损 defective（例如 \(\begin{bmatrix}1&1\\0&1\end{bmatrix}\)：\(\lambda=1\) 代数重数 2，但只有一根特征向量方向）。好消息是：本课后面将看到，对称矩阵永远不亏损——而 ML 里我们关心的矩阵（协方差、海森、核矩阵）大多是对称的。

4. 对角化：换到特征基，变换变成纯缩放

假设 \(n\times n\) 矩阵 \(A\) 有 \(n\) 根线性无关的特征向量 \(v^{(1)},\dots,v^{(n)}\)（对应 \(\lambda_1,\dots,\lambda_n\)）。把它们当列拼成矩阵 \(P=[\,v^{(1)}\ \cdots\ v^{(n)}\,]\)，把特征值放进对角阵 \(D=\operatorname{diag}(\lambda_1,\dots,\lambda_n)\)。逐列看 \(Av^{(i)}=\lambda_i v^{(i)}\) 就是

这叫对角化 diagonalization，或特征分解 eigendecomposition。它的几何含义非常美：

立刻的回报：算 \(A^n\)

反复相乘时，对角化让计算坍缩成对角元的乘方。因为中间的 \(P^{-1}P\) 成对消掉：

对角阵的乘方只是把每个对角元各自取 \(n\) 次方——\(O(n)\) 而非 \(O(n)\) 次矩阵乘法。这条式子是后面理解"反复相乘的稳定性"的关键：\(A^n\) 的命运完全由 \(\lambda_i^n\) 决定。

5. 对称矩阵的特权：谱定理

上一节的对角化例子里，特征向量歪歪斜斜、\(P^{-1}\) 得费劲求逆——这是一般矩阵的常态（特征值甚至可能是复数，特征向量可能不够用）。但实对称矩阵（\(A^\top=A\)）享有一条极强的保证：

这里 \(P^{-1}\) 直接变成了 \(Q^\top\)，原因在于 \(Q\) 是正交矩阵 orthogonal matrix：它的各列是标准正交向量（两两垂直、各自单位长），由此可推出 \(Q^\top Q=I\)，所以它的逆恰好就是转置，\(Q^{-1}=Q^\top\)；几何上它只做旋转 / 反射，不改变长度与角度（这几条性质我们到专讲正交矩阵那一课会严格证明，这里先当作工具用）。于是对称矩阵的变换图景特别干净：先旋转到主轴（\(Q^\top\)），沿主轴各自缩放（\(\Lambda\)），再旋转回来（\(Q\)），全程没有任何剪切。这组主轴就是它的特征向量。

6. 二次型与正定性

对称矩阵天然和二次型 quadratic form \(f(x)=x^\top A x\) 绑在一起（这是一个把向量 \(x\) 映成标量的函数，每一项都是 \(x\) 的两个分量相乘，故称"二次"）。把 \(A=Q\Lambda Q^\top\) 代入，令 \(y=Q^\top x\)（换到主轴坐标），则

最后一步是关键：因为 \(\Lambda\) 是对角阵，\(\Lambda y\) 把第 \(i\) 个分量变成 \(\lambda_i y_i\)，再与 \(y^\top\) 做内积就是 \(\sum_i y_i\cdot\lambda_i y_i=\sum_i\lambda_i y_i^2\)——各分量平方各乘对应对角元，没有任何交叉项 \(y_i y_j\)（交叉项只会来自非对角元，而对角阵的非对角元全是 0）。所以 \(x^\top A x\) 的符号完全由特征值的符号决定：

7. 协方差矩阵与 PCA：主成分就是特征向量

现在把特征分解用到数据上。设数据矩阵每行是一个样本（共 \(m\) 个、\(n\) 维），先把每列中心化（减去该特征的均值）得到 \(X\)。协方差矩阵 covariance matrix

是 \(n\times n\) 对称半正定矩阵：对角元 \(C_{ii}\) 是第 \(i\) 个特征的方差，非对角元 \(C_{ij}\) 是特征 \(i,j\) 的协方差（一起变大 / 反向变 / 无关）。

由谱定理 \(C=Q\Lambda Q^\top\)。它的特征向量 \(q_1,q_2,\dots\)（按特征值从大到小排）就是数据点云的主轴方向，称主成分 principal component；对应特征值 \(\lambda_i\) 就是数据沿该方向的方差。

8. 幂迭代：不解方程也能找主方向

当矩阵很大、只想要最大那个特征值/特征向量时，有个极简算法叫幂迭代 power iteration：随便取一个向量 \(b_0\)，反复做"乘 \(A\)、再归一化"：

为什么有效？把初始向量按特征基展开 \(b_0=\sum_i c_i v^{(i)}\)，反复乘 \(A\) 后变成 \(A^k b_0=\sum_i c_i\lambda_i^k v^{(i)}\)。设 \(|\lambda_1|\) 严格最大、且初始向量在 \(v^{(1)}\) 方向有非零分量（\(c_1\neq0\)；随机取一个向量几乎必然满足），提出公因子：

因为 \(|\lambda_i/\lambda_1|<1\)，那些项随 \(k\) 指数衰减——最大特征值方向越乘越占主导，归一化后 \(b_k\) 收敛到 \(v^{(1)}\) 张成的那条直线（可能相差一个符号）。具体地：若 \(\lambda_1>0\)，\(b_k\) 收敛到 \(\pm v^{(1)}\) 中某个固定方向；若 \(\lambda_1<0\)，\(\lambda_1^k\) 的符号每步翻转，\(b_k\) 会在 \(+v^{(1)}\) 与 \(-v^{(1)}\) 之间来回跳，但方向（那条直线）依然收敛。

要从 \(b_k\) 读出特征值本身，可用瑞利商 Rayleigh quotient \(\dfrac{b^\top A b}{b^\top b}\)（对单位向量 \(b\) 就简化为 \(b^\top A b\)），它衡量 \(A\) 在方向 \(b\) 上的"缩放倍数"，且带符号——能区分 \(\lambda_1\) 的正负，收敛到 \(\lambda_1\) 本身。相比之下 \(\|Ab_k\|\) 只能收敛到 \(|\lambda_1|\)（永远非负，丢了符号），所以读特征值时瑞利商更常用。Google 早年的 PageRank 本质就是对网页链接矩阵做幂迭代找主特征向量。

9. 谱半径与稳定性：梯度消失 / 爆炸的根

定义谱半径 spectral radius \(\rho(A)=\max_i|\lambda_i|\)，即特征值模长的最大值。它决定了"反复相乘"会发生什么。由 \(A^n=PD^nP^{-1}\)，\(A^n\) 的增长由 \(\max_i|\lambda_i|^n=\rho(A)^n\) 主导：

• \(\rho(A)<1\)：\(A^n\to 0\)，反复相乘衰减到零；
• \(\rho(A)>1\)：\(A^n\) 范数爆炸到无穷；
• \(\rho(A)=1\)：临界，刚好不增不减（对应"稳定"边界）。

10. 代码：用 numpy 验证手算

下面的代码验证第 2、5 节的两个例题，并演示 \(Av=\lambda v\)、对角化重构、以及一次幂迭代。只用 numpy，几秒跑完。

import numpy as np

# ---- 例题1：A=[[4,1],[2,3]]，手算得 lambda=5,2 ----
A = np.array([[4., 1.],
              [2., 3.]])
vals, vecs = np.linalg.eig(A)          # vals: 特征值; vecs 的每"列"是一个特征向量
print("特征值:", vals)                  # [5. 2.]
print("特征向量(按列):\n", vecs)

# 验证 A v = lambda v（对每一列）
for i in range(2):
    v = vecs[:, i]
    print(f"  lambda={vals[i]:.1f}: Av={A@v},  lambda*v={vals[i]*v}")

# 用我们手算的整数向量验证（无需归一化）
print("A@[1,1]  =", A @ np.array([1., 1.]),  " 应= 5*[1,1]")
print("A@[1,-2] =", A @ np.array([1., -2.]), " 应= 2*[1,-2]")

# ---- 例题2：对称矩阵 A=[[2,1],[1,2]] 的对角化与 A^3 ----
S = np.array([[2., 1.],
              [1., 2.]])
w, Q = np.linalg.eigh(S)               # 对称矩阵用 eigh：返回实特征值 + 正交特征向量
print("\n对称矩阵特征值:", w)            # [1. 3.]
print("Q 是否正交 (Q^T Q ≈ I):\n", np.round(Q.T @ Q, 10))

# 对角化重构 S = Q Λ Qᵀ
recon = Q @ np.diag(w) @ Q.T
print("Q Λ Qᵀ 重构 S:\n", np.round(recon, 10))

# 用特征分解算 S^3 ，与直接连乘对比
S3_eig = Q @ np.diag(w**3) @ Q.T
print("S^3 (经特征值):\n", np.round(S3_eig, 8))
print("S^3 (直接连乘):\n", np.linalg.matrix_power(S, 3))   # 应都为 [[14,13],[13,14]]

# ---- 幂迭代：找最大特征值方向 ----
b = np.array([1., 0.])
for _ in range(50):
    b = S @ b
    b = b / np.linalg.norm(b)
lam = b @ (S @ b) / (b @ b)              # 瑞利商（带符号），估计最大特征值；b 已归一化故分母≈1
print("\n幂迭代得到的主方向:", np.round(b, 4), " 估计 lambda:", round(lam, 4))
print("(应收敛到 [0.7071,0.7071] 方向, lambda≈3)")

调一调，观察现象

下面三个小实验都只用 numpy 和 print，几秒跑完。动手改一改矩阵，亲眼看看特征值是实是虚、迹和行列式跟特征值是什么关系、幂迭代怎么把符号"藏"起来。

import numpy as np
for name, M in [("general", np.array([[4.,1.],[2.,3.]])),
                ("symmetric", np.array([[2.,1.],[1.,2.]])),
                ("rotation90", np.array([[0.,-1.],[1.,0.]]))]:
    print(name, "特征值:", np.linalg.eigvals(M))
# general -> [5. 2.]; symmetric -> [3. 1.]; rotation90 -> [0.+1.j 0.-1.j]

import numpy as np
for name, M in [("general", np.array([[4.,1.],[2.,3.]])),
                ("symmetric", np.array([[2.,1.],[1.,2.]])),
                ("rotation90", np.array([[0.,-1.],[1.,0.]]))]:
    w = np.linalg.eigvals(M)
    print(name, "sum=", np.round(w.sum().real,4), "trace=", np.trace(M),
          "| prod=", np.round(np.prod(w).real,4), "det=", round(np.linalg.det(M),4))
# 每行都是 sum==trace 且 prod==det
# general:   sum=7 trace=7 | prod=10 det=10
# symmetric: sum=4 trace=4 | prod=3  det=3
# rotation90:sum=0 trace=0 | prod=1  det=1

import numpy as np
Sn = np.array([[-2.,-1.],[-1.,-2.]])   # 特征值 -1, -3
b = np.array([1., 0.3])
for k in range(6):
    b = Sn @ b; b = b / np.linalg.norm(b)
    print(f"step{k}: b={np.round(b,3)}")   # 符号每步翻转，方向稳定
print("瑞利商 b·(Sn b) =", round(b @ (Sn @ b), 4))   # -3.0 带符号
print("||Sn b||        =", round(np.linalg.norm(Sn @ b), 4))  # 3.0 丢符号

动手练习

1. 手算 + 验证。对 \(A=\begin{bmatrix}3&0\\1&2\end{bmatrix}\)：用 \(\operatorname{tr}/\det\) 写特征多项式、求出两个特征值与各自一根特征向量，并手验 \(Av=\lambda v\)。再用下面骨架核对。

   import numpy as np
   A = np.array([[3., 0.],
                 [1., 2.]])
   vals, vecs = np.linalg.eig(A)
   print("特征值:", vals)              # 期望 3 和 2
   for i in range(2):
       v = vecs[:, i]
       print(vals[i], "Av=", A@v, "lambda*v=", vals[i]*v)

2. 对角化算高次幂。对第 1 题的 \(A\)，写出 \(P,D\)，用 \(A^n=PD^nP^{-1}\) 求 \(A^{10}\)，并和 np.linalg.matrix_power(A,10) 对比。观察 \(A^{10}\) 的元素由 \(3^{10}\) 还是 \(2^{10}\) 主导。
3. 判断正定性。对 \(B=\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\) 用 np.linalg.eigh 求特征值，判断它是否正定；再随机取 50 个 \(x\) 计算 \(x^\top B x\) 看是否恒正。

   import numpy as np
   B = np.array([[2., -1.], [-1., 2.]])
   w, _ = np.linalg.eigh(B)
   print("特征值:", w, " 全正?", np.all(w > 0))
   xs = np.random.randn(50, 2)
   vals = np.einsum('ij,jk,ik->i', xs, B, xs)   # 每行算 xᵀBx
   print("min xᵀBx =", vals.min())              # 应 > 0

4. PCA 雏形。合成一团沿 45° 拉长的二维数据，中心化后求协方差矩阵的特征向量/值，验证第一主成分指向数据散得最开的方向、其特征值最大。

   import numpy as np
   np.random.seed(0)
   # 沿方向 [1,1] 拉长的点云：行=样本
   t = np.random.randn(500, 1)
   noise = 0.3 * np.random.randn(500, 2)
   X = t * np.array([1., 1.]) + noise
   X = X - X.mean(axis=0)                        # 列中心化
   C = (X.T @ X) / (len(X) - 1)                  # 协方差矩阵
   w, Q = np.linalg.eigh(C)                      # 特征值升序
   print("特征值(方差):", np.round(w, 3))
   print("第一主成分(最大特征值方向):", np.round(Q[:, -1], 3))  # 应≈ ±[0.707,0.707]

5. 谱半径与稳定性。构造 \(W_1=0.9\cdot I\) 与 \(W_2=1.1\cdot R\)（\(R\) 为某旋转矩阵）。各自计算 \(\rho(W)\)，再对一个向量连乘 100 次，打印范数，观察"消失 vs 爆炸"。

掌握自检

• 我能用一句话说清 \(Av=\lambda v\) 的几何含义，并解释为什么 \(v\) 必须非零、而 \(\lambda=0\) 允许。
• 给一个 2×2 矩阵，我能在两分钟内用 \(\operatorname{tr}/\det\) 写出特征方程、求出特征值与特征向量，并验算。
• 我能说明 \(A=PDP^{-1}\) 的"换基—缩放—换回"三步画面，并据此解释 \(A^n=PD^nP^{-1}\)。
• 我能复述谱定理的三条结论（实特征值、正交特征向量、\(A=Q\Lambda Q^\top\)），并知道它为何对协方差/海森这类对称矩阵成立。
• 我能把 \(x^\top A x\) 的符号与特征值符号对应起来，并据此判断海森给出的是极小、极大还是鞍点。
• 我能解释"主成分 = 协方差特征向量、方差 = 特征值"，以及降维时为什么丢小特征值方向。
• 我能用幂迭代和谱半径，说清楚 RNN/深层网络梯度消失与爆炸的根源。

下一课，我们把特征分解推广到任意（非方、非对称）矩阵——那就是奇异值分解 SVD。你会看到 \(A=U\Sigma V^\top\) 如何把"任意线性变换"拆成"旋转—缩放—旋转"，谱归一化里那个"最大奇异值"也将在那里正式登场。