分布动物园与协方差

上一课我们认识了随机变量、期望 \(\mathbb{E}[X]\) 与方差 \(\mathrm{Var}(X)\)——那是描述"一个随机量"的工具。这一课我们做两件事：第一，逛一遍"分布动物园"，认识几种反复出现的随机量长什么样、什么时候该请哪一只出场；第二，迈进多变量，问"两个随机量怎么一起动"——这把我们带向协方差、协方差矩阵，以及一个让模块1的特征分解突然变得无比有用的画面：协方差椭圆。最后用中心极限定理收束全场，解释高斯为何无处不在。

分布动物园：每只动物解决一个问题

伯努利 Bernoulli(p)：一次是非题

什么时候用它：任何"只有两种结果"的单次随机——抛一次硬币、一封邮件是不是垃圾、一次点击有没有发生。它是二分类模型输出的概率原型。

随机变量 \(X\) 只取 0 或 1，取 1 的概率是 \(p\)：

一个紧凑写法把两行并成一行：\(P(X=x)=p^{x}(1-p)^{1-x}\)（\(x\in\{0,1\}\)）。它的期望和方差很好记：

注意方差在 \(p=0.5\) 时最大（\(0.25\)）——最"五五开"时最不确定，这与直觉一致。

二项 Binomial(n,p)：把 n 次是非题加起来

什么时候用它：独立重复 \(n\) 次同一个伯努利试验，数一共成功了几次。抛 10 次硬币里几次正面、发 1000 封邮件里几封被点开。

\(X\) 是 \(n\) 个独立 Bernoulli(p) 之和，取值 \(0,1,\dots,n\)：

因为是 \(n\) 个独立同分布的伯努利相加，它的期望/方差就是单个的 \(n\) 倍——这个"独立项相加，方差也相加"的规律，等会儿在 CLT 里还要再用。

Categorical：多选一

什么时候用它：结果有 \(K\) 个互斥类别，选中其一。这正是多分类的输出层——一张图是猫/狗/鸟，下一个 token 是词表里哪个词。

给每个类别一个概率 \(p_1,\dots,p_K\)，满足 \(p_k\ge 0\) 且 \(\sum_k p_k=1\)。伯努利是它在 \(K=2\) 时的特例。

均匀 Uniform：一无所知时的默认

什么时候用它：区间内"哪儿都一样可能"。计算机的随机数发生器底层产出的就是 \([0,1)\) 上的均匀数；很多其它分布的采样都从均匀数变换而来。

连续均匀 \(U(a,b)\) 的密度是常数 \(p(x)=\frac{1}{b-a}\)（\(a\le x\le b\)），\(\mathbb{E}[X]=\frac{a+b}{2}\)，\(\mathrm{Var}(X)=\frac{(b-a)^2}{12}\)。它形状最"无聊"——但正因为无聊，等会儿把一堆均匀量加起来变成钟形，才特别震撼。

高斯 / 正态 \(\mathcal{N}(\mu,\sigma^2)\)：动物园之王

什么时候用它：测量噪声、误差、"很多小因素叠加"的量；神经网络权重初始化常从高斯采样；扩散模型加的噪声是高斯。它是后面大半门课的主角。

一维高斯的概率密度（PDF）是：

把它拆开看就不怕了：核心是 \(\exp(-(x-\mu)^2/2\sigma^2)\)——离中心 \(\mu\) 越远，指数里的负数越大，密度掉得越快，于是是个钟形；\(\sigma\) 控制钟的胖瘦（标准差越大越胖）；前面的 \(\frac{1}{\sqrt{2\pi}\,\sigma}\) 起的作用和 softmax 分母一样——都是归一化常数，只不过这里是让积分（而非求和）恰好为 1，让整条曲线下的面积是 1。参数含义干净利落：\(\mathbb{E}[X]=\mu\)，\(\mathrm{Var}(X)=\sigma^2\)。

泊松 Poisson(λ)：单位时间里数个数

什么时候用它："在一段固定时间/空间里，某种稀有事件发生了几次"——一分钟内到达的请求数、一页书里的错别字数、一小时打进的电话数。

它有个签名特征：均值等于方差，都等于 \(\lambda\)。形状是右偏的离散柱（左边被 0 挡住，右边拖尾）。直觉上它是"\(n\) 很大、\(p\) 很小"的二项的极限：把一段时间切成 \(n\) 个极小格（\(n\to\infty\)），每格成功概率 \(p\to 0\)，但保持平均次数 \(np=\lambda\) 不变——此时二项的 \(P(X=k)\) 恰好收敛到泊松公式。

指数 Exponential：等待时间

什么时候用它："下一个泊松事件还要等多久"——两次请求之间的间隔、设备到下次故障的时间。泊松数个数，指数数间隔，它俩是一对。

它有著名的无记忆性：已经等了 10 分钟还没来，再等 5 分钟的概率，和一开始就等 5 分钟一样——过去不影响未来。它的形状强烈右偏，正好等会儿拿来演示 CLT 怎么把偏度抹平。

协方差：两个随机量怎么"一起动"

到目前为止每只动物都是单变量的。但现实里随机量常常成群结队、彼此牵连：身高与体重、两只股票、像素的相邻点。我们需要一个数来回答"\(X\) 偏大时，\(Y\) 是倾向于也偏大，还是偏小？"

符号告诉你方向：正=同涨同跌，负=此涨彼跌，零=线性上无关联。注意 \(\mathrm{Cov}(X,X)=\mathbb{E}[(X-\mu_X)^2]=\mathrm{Var}(X)\)——方差只是"自己和自己的协方差"，这个统一视角等会儿拼协方差矩阵时很关键。

但协方差有个毛病：它带单位、量纲不固定。身高用厘米还是米算，协方差会差 100 倍，没法横向比较"谁更相关"。解决办法是除掉两个标准差，把它无量纲化，得到相关系数（correlation coefficient）：

这其实就是模块1 的余弦相似度换了层皮：把"去均值后的 \(X\) 和 \(Y\)"当成两个向量，\(\rho\) 正是它们夹角的余弦。所以 \(\rho=\pm1\) 表示完全线性（共线）；\(\rho=0\) 表示去均值后的 \(X\)、\(Y\) 在向量意义上正交，也就是没有线性关联（但仍可能有非线性关系——见下方易错）。

协方差矩阵：把所有两两关系装进一个对称矩阵

当随机量不止两个、而是一个向量 \(\mathbf{X}=(X_1,\dots,X_d)\)，我们把所有两两协方差排成一个 \(d\times d\) 矩阵：

对角线 \(\Sigma_{ii}=\mathrm{Var}(X_i)\) 是各分量自己的方差，非对角是两两协方差。因为 \(\mathrm{Cov}(X_i,X_j)=\mathrm{Cov}(X_j,X_i)\)，所以 \(\Sigma\) 必然对称。更进一步，对任意方向向量 \(\mathbf{a}\)，\(\mathbf{a}^\top\Sigma\mathbf{a}=\mathrm{Var}(\mathbf{a}^\top\mathbf{X})\ge 0\)（任何方向上的投影方差不可能为负），所以 \(\Sigma\) 是对称半正定的。

协方差椭圆：特征分解的几何兑现

想象二维高斯样本散成一团云。如果两个分量不相关，云是个正放的椭圆，胖瘦由各自方差决定。一旦相关（\(\Sigma\) 有非零非对角元），云就斜过来了。怎么找到这团斜椭圆的"长轴短轴"？——对 \(\Sigma\) 做特征分解：

• 特征向量 = 椭圆主轴的方向。最大特征值对应的特征向量，指向数据散得最开的方向。
• 特征值 = 该主轴方向上的方差。主轴的半轴长 \(\propto\sqrt{\lambda}\)（即那个方向的标准差）。\(\lambda\) 越大，那条轴越长，椭圆在那个方向越"胖"。

中心极限定理：高斯为何无处不在

逛完动物园你也许纳闷：现实分布五花八门，凭什么高斯独占 C 位、成了"默认假设"？答案是中心极限定理（Central Limit Theorem, CLT）：

这就解释了高斯的统治地位：现实里许多量本身就是"无数小随机因素叠加"的结果——测量误差是无数微小扰动之和，一个人的身高是众多基因与环境因素叠加，噪声是大量独立微小冲击的和。叠加足够多独立随机性，个体的怪癖被互相抵消、抹平，只剩下钟形。

一个常被忽略的细节：CLT 不止说"变成钟形"，还能看到偏度（skewness，分布的不对称程度）随求和项数 \(n\) 像 \(1/\sqrt{n}\) 一样衰减。拿强烈右偏的指数分布做基，单个偏度恰为 2（这是指数分布的精确偏度），加 \(k\) 个后偏度恰为 \(2/\sqrt{k}\)：\(k=1,2,5,30\) 对应 \(2.0,\ 1.41,\ 0.89,\ 0.37\)——肉眼可见越来越对称。下面"调一调"和"练习"里你会亲手跑出这串数。

调一调，观察现象

下面每个微任务都改一个数、预测一个现象、再跑代码验证。代码只用 numpy + print，几秒跑完。

import numpy as np
for rho in [0.0, 0.5, 0.9]:
    Sigma = np.array([[1.0, rho], [rho, 1.0]])
    w, v = np.linalg.eigh(Sigma)          # 升序特征值
    ratio = np.sqrt(w.max() / w.min())     # 长短轴比
    print(f"rho={rho}: eigvals={np.round(w,3)}  长短轴比={ratio:.3f}")

import numpy as np
rng = np.random.default_rng(0)
N = 200000
def skew(a):
    a = (a - a.mean()) / a.std()
    return np.mean(a**3)
for k in [1, 2, 5, 30]:
    s = rng.exponential(1.0, size=(N, k)).sum(axis=1)   # k 个指数之和
    print(f"k={k:2d}  偏度={skew(s):+.3f}   参考 2/sqrt(k)={2/np.sqrt(k):.3f}")

import numpy as np
rng = np.random.default_rng(1)
N = 300000
for k in [1, 2, 12]:
    s = rng.random((N, k)).sum(axis=1)
    z = (s - s.mean()) / s.std()
    # 注意：k=1 时 z 只在 ±sqrt(3)≈±1.73 内，外侧 bin 恒为 0
    counts, _ = np.histogram(z, bins=np.linspace(-3, 3, 13))
    within1 = np.mean(np.abs(z) < 1) * 100
    print(f"k={k:2d}  分箱计数={counts}")
    print(f"        |z|<1 占比={within1:.1f}%  (k=1≈57.7%, 高斯≈68.3%)")

动手练习

1. 协方差与相关系数。对本课例题数据 \(X=(1,2,3,4,5),\ Y=(1,3,2,5,4)\)，用 numpy 算出协方差和相关系数，验证 \(\rho=0.8\)。注意 np.cov 默认除以 \(N-1\)，请同时手动算"除以 \(N\)"的版本对比。

   import numpy as np
   X = np.array([1.,2,3,4,5]); Y = np.array([1.,3,2,5,4])
   # np.cov 默认 ddof=1（除以 N-1），ddof=0 除以 N
   C = np.cov(X, Y, ddof=0)          # 2x2 协方差矩阵
   print("协方差矩阵(ddof=0):\n", C)
   rho = C[0,1] / np.sqrt(C[0,0]*C[1,1])
   print("rho =", round(rho, 4))     # 应为 0.8
   print("np.corrcoef:\n", np.round(np.corrcoef(X, Y), 4))
   

2. 从协方差矩阵生成相关高斯样本。给定 \(\Sigma=\begin{bmatrix}2&1\\1&2\end{bmatrix}\)，用 Cholesky 分解 \(\Sigma=LL^\top\) 把标准高斯 \(Z\) 变换成 \(X=LZ\)，再用样本估回 \(\Sigma\)，验证样本协方差 ≈ 真值。

   import numpy as np
   rng = np.random.default_rng(0)
   Sigma = np.array([[2.,1.],[1.,2.]])
   L = np.linalg.cholesky(Sigma)             # 下三角，LL^T = Sigma
   Z = rng.standard_normal((2, 20000))       # 标准高斯
   Xs = L @ Z                                 # 相关高斯
   print("样本协方差:\n", np.round(np.cov(Xs), 3))   # 应≈[[2,1],[1,2]]
   

3. 验证"主轴=特征向量、特征值≈各轴方差"。承上题，对样本协方差做特征分解；再把样本点投影到每个特征向量上，算投影的方差，验证它≈对应特征值。

   import numpy as np
   rng = np.random.default_rng(0)
   Sigma = np.array([[2.,1.],[1.,2.]])
   L = np.linalg.cholesky(Sigma)
   Xs = L @ rng.standard_normal((2, 50000))
   S = np.cov(Xs)
   w, V = np.linalg.eigh(S)                    # 特征值(升序) w, 特征向量列 V
   print("特征值:", np.round(w, 3))            # 应≈[1, 3]
   print("特征向量(列):\n", np.round(V, 3))    # 应≈±[1,-1]/√2 和 ±[1,1]/√2
   for i in range(2):
       proj = V[:, i] @ Xs                     # 投影到第 i 个主轴
       print(f"轴{i} 投影方差={proj.var():.3f}  对应特征值={w[i]:.3f}")
   

4. CLT 偏度实验。用调一调 2 的代码，把基分布从指数换成"掷一颗六面骰"（取值 1–6 均匀），观察 \(k=1,2,5,30\) 个骰子之和的偏度。预测：骰子本身对称，偏度本就≈0，求和后仍≈0，但分布会从"平台→三角→钟形"。打印分箱计数确认形状变化。
5. 68–95–99.7 自验。采样 \(2\times10^6\) 个标准高斯样本，用 np.mean(np.abs(x)<k) 统计落在 \(\pm1,\pm2,\pm3\) 标准差内的比例，验证≈68.3%、95.5%、99.7%。

掌握自检

• 给一个现实场景（"统计一分钟内到店顾客数""下一个顾客还要等多久""一封邮件是不是垃圾"），我能立刻说出该用泊松/指数/伯努利里的哪一只，并写出它的均值。
• 我能不查公式写出一维高斯密度，并口算"\(\mathcal{N}(10,2^2)\) 中约 95% 的样本落在哪个区间"（答：\([6,14]\)）。
• 给一组成对数据，我能手算协方差和相关系数，并解释 \(\rho\) 的符号与"为什么除以两个标准差"。
• 给一个 2×2 对称半正定矩阵，我能求特征值/特征向量，并画出对应协方差椭圆的朝向与长短轴比（半轴 \(\propto\sqrt{\lambda}\)），能指出"哪个方向方差最大"。
• 我能用一句话解释 CLT，说清它解释了"高斯为何无处不在"，并能预测"30 个指数之和"的分布大致形状。
• 我能指出 softmax 分母就是归一化常数/配分函数，并说出它和 Categorical 分布的关系。

下一课我们从"单个/联合分布"转向条件概率与贝叶斯：当我们观察到一部分信息后，如何更新对其余部分的信念？并由此揭示自回归语言模型的概率根——为什么"预测下一个词"本质上是在反复套用条件概率的链式法则，以及那条链上每一环（一个 Categorical 分布）如何用交叉熵来训练。今天的 Categorical 分布与归一化常数，正是那条链上每一环的形状。