考研笔记

协方差矩阵与半正定性

🏠 第19章概念导航

核心问题

多个随机变量之间两两的协方差，怎么统一管理？

两个变量时写 一个数就够了。 个变量有 对，散着写会乱。把它们排成矩阵之后，线代第15章学的全部二次型工具立刻可以复用——这是概率与线代最直接的一个接口。

核心定义 / 定理 / 结论

一、协方差矩阵

对随机向量 ，

对角线是方差（），非对角线是协方差，且由对称性 是实对称矩阵。

时：

二、线性组合的方差就是二次型

展开验证： ✓（这就是双线性）。

三、 必半正定

对一切

因为方差非负。 这是协方差矩阵最本质的性质。

什么时候只是半正定而不是正定：存在 使 ，即某个线性组合退化为常数。例如 时，取 即得 。

正定的各分量之间没有线性关系（不退化）

四、由半正定立得

时半正定要求所有主子式非负，特别是行列式：

Cauchy–Schwarz 不等式在这里就是”二阶主子式非负”。

同理 时三个 不能任意取： 给出，所以不可能有三个变量两两相关系数都是 （代入得 ，矛盾）——” 与 反向、 与 反向，则 与 必同向”。

五、正交对角化 找独立的新坐标

实对称，故存在正交矩阵 使

令 ，则 的协方差矩阵是 ——对角矩阵意味着新变量两两不相关（若原来是多维正态，则相互独立）。

给二维正态的等高椭圆找主轴把正交对角化旋转到独立坐标

这在统计学里叫主成分分析（PCA），特征值 就是各主轴方向上的方差。

二维时旋转角由

给出——与线代里二次型 消交叉项的公式 完全同型。

注意 时：等高线是圆，任何方向都是主轴， 不唯一（对应 有重特征值）。

六、二维正态密度里的

必须正定（否则 不存在、密度写不出来），对应”分布不退化到一条直线上”。

指数里的 就是等高椭圆， 的特征向量给出主轴方向。

典型题型

  1. 由若干 求 ：本质是算 ——见 双线性展开
  2. 旋转使两个线性组合独立：解 求
  3. 判断给定矩阵能否作为协方差矩阵：检验对称 + 半正定
  4. 取值范围的限制：由主子式非负导出

图示 / 直觉

描述的是一团点云的”形状与朝向”。

  • 对角线（方差）决定点云在各坐标方向上有多宽；
  • 非对角线（协方差）决定点云倾斜多少；
  • 特征值是点云沿两条主轴的”宽度平方”，特征向量是主轴方向。
圆形点云对角但不等轴平行的椭圆有非零非对角元倾斜的椭圆

半正定的几何含义：椭圆不可能有”负的宽度”。若某个方向上方差为零，椭圆就在那个方向上被压扁成一条线段——分布退化了，这正是”半正定但不正定”。

正交对角化的图像：把头歪一下，让椭圆的长轴对准你的视线方向——同一团点云，换个坐标系看就”独立”了。

常见误用

1. 认为任何对称矩阵都能当协方差矩阵

还必须半正定。例如 不行（对应 ，）。

2. 认为"两两不相关"等价于 对角

这是对的。但不要由此推出”相互独立”——只有多维正态才行。

3. 忘记 是方差不是标准差

的对角元是 。二维正态密度里的 。

4. 把 算成 什么

正确的是 ，中间必须夹 。

与旧知识的连接

  • 线代第15章二次型： 就是二次型，半正定判据（顺序主子式、特征值全非负）原样搬用。见 第15章 二次型。
  • 线代第14章相似与对角化： 实对称必可正交对角化，见 第14章 相似矩阵。
  • 线代的合同变换： 时 ——这正是合同，所以正负惯性指数（这里全非负）不变。
  • 第18章的二维正态：那里的五个参数 正是 与 ，见 二维正态分布。
  • 第21章：样本协方差矩阵是 的估计，多元统计的起点。

题型训练

链接

反向链接