凸性与梯度下降——优化的几何

前几课我们从概率与信息论里把损失函数"推"了出来：最大似然给了我们交叉熵，MAP 给了我们带正则的目标。可一旦写下 \(L(\theta)\)，真正的问题才开始——怎么把它最小化？这一课讲优化的几何：什么样的地形好走（凸性），为什么沿负梯度走最快，以及为什么有的"碗"明明是凸的却走得慢得让人抓狂（病态曲率）。

训练，就是优化

把前几课的成果收个口：无论是回归、分类还是生成模型，训练最终都落到一个统一的形式

其中 \(\theta\) 是模型的所有参数（可能是几个数，也可能是几十亿个数），\(L\) 是损失。"学习"这个浪漫的词，在数学上就是"在 \(\theta\) 的高维空间里找一个让 \(L\) 尽量小的点"。剩下的全是细节：地形长什么样，从哪儿出发，每步迈多大。

凸集与凸函数：什么是"好地形"

先别急着背定义。我们想要的"好地形"直觉上是：一个碗。不管从哪儿放一颗球，它都会滚到同一个最低点。数学家把这种性质拆成两层：底面的形状（凸集）和碗壁的形状（凸函数）。

凸集：连两点的线段不会"出界"

一个集合 \(C\) 是凸集（convex set），如果对里面任意两点 \(x,y\)，连接它们的整条线段也都在 \(C\) 里：

约定好一个贯穿全课的读法：\(\lambda\) 是"\(x\) 的份额"——\(\lambda=1\) 时整点落在 \(x\)，\(\lambda=0\) 时落在 \(y\)，中间按比例滑动。圆盘、实心椭圆、整个 \(\mathbb{R}^n\) 都是凸的；一个月牙形、一个甜甜圈就不是——你能找到两点，它们的连线穿出了集合外面。

凸函数：弦永远在曲线上方

有了凸的"地基"，再看碗壁。一个函数 \(f\) 是凸函数（convex function），如果它图像上任意两点之间的弦（割线）都在函数图像的上方或重合：

左边是"先取平均位置，再看函数值"；右边是"先取两端函数值，再平均"。凸 = 实际曲线 ≤ 直线插值。注意左右两边的 \(\lambda\) 配的始终是同一个点——\(\lambda\) 越大，无论是位置还是函数值都更靠近 \(x\) 这一端，两边永远对齐，不会错位。抛物线 \(x^2\)、指数 \(e^x\)、绝对值 \(|x|\) 都满足；而 \(\sin x\) 或者有两个谷的函数就不满足——某些弦会钻到曲线下面去。

二阶判据：Hessian 半正定（呼应 M1 第7课）

"弦在上方"很直观，但拿到一个具体函数怎么快速判断？这就要请出我们在模块1学过的 Hessian 矩阵 \(H\)（二阶偏导构成的对称矩阵，记录了曲面在每个方向上的弯曲程度）。一维情形大家熟悉：\(f''(x)\ge 0\)（处处不向下弯）就凸。多维的推广是：

"半正定 \(\succeq 0\)"在模块1第4/5课讲过：等价于 \(H\) 的所有特征值都 \(\ge 0\)。几何上，特征值是各主方向的"弯曲强度"。全部 \(\ge 0\)，意味着无论朝哪个方向看，曲面都不向下弯——这正是"碗"的样子。如果某个特征值是负的，那个方向就是向下弯的，曲面在该方向像个鞍——不再是碗。

负梯度 = 最速下降方向（呼应 M1 第6课）

知道了好地形长什么样，现在问：站在地形上某点，往哪个方向迈一步下降最快？答案是负梯度方向 \(-\nabla L\)。回忆模块1第6课的一阶展开，朝单位方向 \(u\) 走一小步 \(\epsilon\)：

下降量由 \(\nabla L^\top u\)（梯度与方向的内积）决定。要让函数下降最多，就要让这个内积最负。内积 \(=\|\nabla L\|\,\|u\|\cos\angle\)，在 \(\|u\|=1\) 下，当 \(u\) 与 \(\nabla L\) 方向正好相反（\(\cos=-1\)）时最负。所以最速下降方向就是 \(u=-\nabla L/\|\nabla L\|\)。梯度指向上坡最陡的方向，取个负号就是下坡最陡的方向。

把这个想法变成迭代算法，就是梯度下降（gradient descent）：

每一步朝当前最陡的下坡方向迈一步，步长由学习率（learning rate）\(\eta\) 控制。注意"最速下降"只是局部最优方向——它只看脚下这一小步，不保证是通往谷底的全局捷径（下面的"之"字形就是这个局部性付出的代价）。

学习率 \(\eta\)：太大震荡/发散，太小太慢

\(\eta\) 是这一课最需要手感的旋钮。它控制每步迈多远，而"多远算合适"取决于地形的弯曲程度。

• \(\eta\) 太小：太慢。每步挪一点点，要迈成千上万步才到谷底。安全但磨蹭。
• \(\eta\) 太大：震荡甚至发散。步子迈过了头，从谷的一侧蹦到另一侧，甚至越蹦越高飞出去。这正是模块1第6课提过的"之"字形/反弹现象在一维上的极端版。

对二次碗 \(f=\tfrac12 a\theta^2\)（曲率 \(a\)），一步更新是 \(\theta\leftarrow\theta-\eta a\theta=(1-\eta a)\theta\)。要收敛必须 \(|1-\eta a|<1\)，即 \(0<\eta<2/a\)。曲率越大（碗越陡），可用的学习率上限越低。记住这个 \(2/a\)——在多维里，\(a\) 就是某个方向上的曲率，也就是 Hessian 的一个特征值；最严格的红线由最大特征值决定，所以下面会写成 \(\eta<2/\lambda_{\max}\)。它马上要解释病态问题。

病态与条件数：凸碗也能很难走（呼应 M1 第4/5课）

这里是全课最关键的洞察。我们刚说凸问题"好优化"，但"好"指的是"不会卡在假谷底"，不等于"走得快"。即使地形是个完美的凸碗，如果这碗又长又窄，梯度下降照样会走得很惨。

条件数：碗有多"歪"

衡量碗"歪不歪"的量叫条件数（condition number），定义为 Hessian 的最大与最小特征值之比：

回忆模块1：特征值是各主方向的曲率。\(\kappa=1\) 意味着各方向曲率一样——等高线是正圆，碗很"圆正"。\(\kappa\) 很大意味着某方向陡得多、某方向缓得多——等高线是狭长的椭圆，一条又深又窄的山谷。这种碗叫病态（ill-conditioned）。

狭长山谷里的"之"字形

为什么病态会拖慢梯度下降？因为负梯度方向通常并不指向谷底。在狭长椭圆里，梯度主要垂直于山谷长轴（朝陡的方向），只有很小一点分量沿长轴（朝谷底）。结果是：你大步横跨山谷、在两侧壁来回反弹（之字形），却只极慢地沿着谷底往前蹭。

更糟的是学习率被"卡死"：为了在陡方向不发散，\(\eta\) 必须 \(<2/\lambda_{\max}\)；可这么小的 \(\eta\) 在缓方向上每步只挪 \(\eta\lambda_{\min}\) 那么一丁点。收敛步数大致正比于 \(\kappa\)：条件数翻倍，要走的步数也大致翻倍。

深度学习是非凸的——但敌人不是非凸本身

坏消息先说：神经网络的损失 \(L(\theta)\) 几乎从不凸。激活函数的非线性、层层复合，让损失曲面布满起伏。按"凸才好优化"的逻辑，深度学习似乎根本没法训。可它偏偏训得很好。为什么？

关键在于高维空间的几何反直觉。我们的恐惧来自低维想象：非凸 = 一堆坑，球会卡在某个不够深的坑（坏的局部极小）里出不来。但在百万维参数空间里，这个图像是错的。

一个临界点（梯度为零处）是"坏局部极小"，要求 Hessian 在所有方向都向上弯（全部特征值 \(>0\)）。而它是鞍点（saddle point），只要存在一个向上弯、一个向下弯的方向（特征值有正有负）。在 \(d\) 维空间里，"每个方向都恰好向上弯"就像连抛 \(d\) 次硬币全是正面——维度越高越罕见（这只是个抓直觉的类比，背后"各方向曲率符号近似独立"的严格分布属于随机矩阵理论，留到 skip）。所以高维里临界点压倒性地是鞍点，而不是坏的局部极小。另外，在很多实际网络里还观察到：越深的（损失越高的）局部极小越稀少，大多数局部极小的损失都彼此接近、且接近全局最优——卡在一个"差很多的谷"里的概率其实很低（这是经验规律，成立与否依赖具体模型与假设，并非铁律，边界留到 skip）。

两个必须记住的凸例子

虽然深度模型非凸，但机器学习的两个基石问题是凸的，它们是理解一切的脚手架：

• 最小二乘（线性回归）：\(L(\theta)=\tfrac12\|X\theta-y\|^2\)。Hessian 是 \(H=X^\top X\)，它永远半正定（对任意 \(v\)，\(v^\top X^\top X v=\|Xv\|^2\ge 0\)）。所以最小二乘是凸的，甚至有闭式解 \(\theta=(X^\top X)^{-1}X^\top y\)。而它的条件数正是 \(X^\top X\) 的条件数——特征尺度不一致就病态，这就是为什么要做特征标准化。
• 逻辑回归：用交叉熵（上一课从最大似然推出来的那个）做损失时，\(L(\theta)\) 关于 \(\theta\) 是凸的。它没有闭式解，但凸性保证没有坏的局部极小，梯度下降不会被假谷底困住，会一路朝全局最优走。逻辑回归是"凸但需迭代"的典范，是从线性模型走向神经网络的最后一站平地。

调一调，观察现象

下面用 numpy 在 \(f=\tfrac12(x^2+\gamma y^2)\) 上跑梯度下降。改三个旋钮，亲眼看到上面讲的每个结论。每段都能几秒跑完，只 import numpy、只用 print。

import numpy as np

def run(gamma, eta, x0=(1.0, 1.0), tol=1e-3, max_steps=10000):
    x = np.array(x0, dtype=float)
    for k in range(1, max_steps + 1):
        grad = np.array([x[0], gamma * x[1]])   # 梯度 (x, gamma*y)
        x = x - eta * grad                       # theta <- theta - eta * grad
        if np.linalg.norm(x) < tol:
            return k
    return max_steps

for gamma in [1.0, 10.0, 50.0]:
    eta = 1.0 / gamma            # 安全步长，约 1/lambda_max
    print(f"gamma={gamma:5}  cond={gamma:.0f}  steps={run(gamma, eta)}")

import numpy as np

gamma, eta = 10.0, 0.18
x = np.array([1.0, 1.0])
print("step  x        y")
for k in range(6):
    print(f"{k:3}  {x[0]: .4f}  {x[1]: .4f}")
    grad = np.array([x[0], gamma * x[1]])
    x = x - eta * grad

import numpy as np

gamma = 10.0
for eta in [0.15, 0.20, 0.21]:
    x = np.array([1.0, 1.0])
    for _ in range(40):
        x = x - eta * np.array([x[0], gamma * x[1]])
    print(f"eta={eta:.2f}  final ||theta||={np.linalg.norm(x):.3e}")

动手练习

1. 手验凸性。对 \(f(x,y)=x^2+4y^2+xy\)，手算 Hessian，用顺序主子式判断是否（严格）凸（提示：左上 \(2>0\)，\(\det=2\cdot8-1=15>0\)，故正定），再用 numpy 的 np.linalg.eigvalsh 验证特征值都为正。
2. 测量条件数与步数的正比关系。基于任务 1 的 run，对 \(\gamma\in\{2,5,10,20,40\}\) 各用 \(\eta=1/\gamma\) 跑一遍，打印 (gamma, steps)，观察 steps 是否大致随 \(\gamma\) 线性增长。（提示：别把 \(\gamma=1\) 那个 1 步的退化点混进来比，它是 \(\eta\) 恰好等于精确解步长的特例；从 \(\gamma=2\) 起看线性趋势才靠谱。）
3. 逃离鞍点。在 \(f(x,y)=x^2-y^2\)（梯度 \((2x,-2y)\)）上从 \((0.5,\,10^{-6})\) 出发跑梯度下降，打印 \(y\) 随步数的变化。\(y\) 会按 \((1+2\eta)\) 的因子被指数放大、最终逃离原点——体会"沿下弯方向被指数推开"的过程（初始 \(y\) 越小，前期看似停滞越久，一旦起来就很快）。把初始 \(y\) 设成精确的 \(0\) 会怎样？为什么？
4. 归一化能治病态。构造 \(f=\tfrac12(x^2+100y^2)\)（\(\kappa=100\)）。先直接跑，记下步数；再做变量替换 \(y'=10y\)（即在 \(y\) 方向把尺度缩小 10 倍），让新问题变成 \(\tfrac12(x^2+y'^2)\)（\(\kappa=1\)），再跑，对比步数。这就是特征标准化的威力。

掌握自检

• 我能用"弦在曲线上方"和"Hessian 半正定（特征值 \(\ge 0\)）"两种方式说明同一件事：凸；并知道"顺序主子式全为正"判的是正定（⇒ 严格凸），而"严格凸"反过来不一定正定（如 \(x^4\)）。
• 我能解释凸为什么保证"局部最优即全局最优"，以及这为什么让凸问题"好优化"。
• 我能推出负梯度是最速下降方向，并说出 \(\eta\) 太大/太小的后果与收敛红线 \(\eta<2/\lambda_{\max}\)（一维里就是 \(2/a\)）。
• 我能用条件数 \(\kappa=\lambda_{\max}/\lambda_{\min}\) 解释之字形和收敛慢，并说出这如何引出下一课的自适应优化器。
• 我能用维度直觉解释为什么高维里临界点几乎都是鞍点、而非坏局部极小，并区分"标准鞍点逃得快"与"平坦/退化鞍点会磨蹭"。
• 我能反驳"非凸=训不了"，并列出真正的四个敌人：鞍点、病态曲率、坏初始化、学习率。
• 我能各举一个凸的机器学习例子（最小二乘 / 逻辑回归）并说明其凸性来源。

下一课我们就把这一课的诊断变成药方：实战优化器——SGD、动量、Adam 与学习率调度。你会看到动量如何借惯性穿过之字形，Adam 如何给每个方向配自适应步长来对抗病态——这一课埋下的每个 \(\kappa\)、每个红线 \(2/\lambda_{\max}\)，都会在那里得到回应。