Basic Concepts of Covariance

由于本人只学过概率论，所以在这里简单的复习一点协方差的意义和性质。

一维协方差

• 对于概率空间 上的两个随机变量 ，定义其协方差为 协方差的定义与方差相仿，即有 ，然而协方差度量的量与方差不同。回忆方差度量的是随机变量偏离其均值的程度，而协方差度量的是两随机变量 变化的相关程度。即

  • 若 偏离其期望的方向在期望意义上相同，则协方差为正，且 的同向偏离程度越大，协方差的绝对值越大。
  • 若 偏离其期望的方向在期望意义上相反，则协方差为负，且 的异向偏离程度越大，协方差的绝对值越大。

  这给出了协方差清晰的度量意义：两随机变量变化的相关程度。协方差具备一些计算上的性质：

  1. 双线性性。
  2. 对称性： 。
  3. 协方差的计算式： 。

  这些性质是容易验证的。特别的，容易看出独立随机变量的协方差为 ，但反过来不一定成立。考虑反例：

  • ，定义随机变量 为单位映射， 。显然， 并不独立，然而容易计算得到 。

  这实际上反映出协方差只能度量两个随机变量的线性相关程度¹，上例中的二次相关性就被完全忽视了。另外和的方差也可以由协方差写出： 这同样反映出在 独立时有和的方差等于方差的和。

相关性

• 我们说过协方差度量了两个随机变量变化的相关程度。然而如果要比较不同随机变量对的相关程度，协方差就不适用了。这本质上是量纲的问题——不同随机变量的量纲不同，当量纲变化时，即使同一随机变量对的协方差也会变动。因此一个简单看法就是，要度量相关性，我们需要对协方差做标准化。为此，对随机变量 分别做标准化，即定义 这样便得到了均值为 ，方差为 的随机变量 ，其协方差恰为积的期望，使得 定义其为随机变量 的相关系数，记作 。相关系数具备良好的性质：

  1. 由 Cauchy-Schwartz 容易得到，相关系数总是介于 之间。
  2. 相关系数取 ，当且仅当存在 使得 a.s. 。
  3. 相关系数取 ，当且仅当存在 使得 a.s. 。

  其中第 2、3 条性质在直观上很明确：既然协方差度量的是两个随机变量的线性相关程度，那么当相关性最大，即相关系数的绝对值取到 时，两个随机变量必须是完全线性相关的。要严格证明该性质，我们要从更高的视角来看协方差，即内积线性空间。

随机变量的内积线性空间

• 现在考虑概率空间 上的全体二阶矩存在的随机变量，定义其上的实线性空间，使得其中的每一向量元素 为全体与 几乎处处相等的随机变量的等价类，记作 ，容易验证其却为一线性空间。定义 上的内积，使得对于任意 ，有 ，容易验证其却为一内积。²

  特别的，对于离散概率空间，以上的定义尤其直观。若假设 上所有元素的概率质量为正，则 的向量元素恰为全体 的映射，并且该线性空间的维度恰为 。进一步，可以证明内积线性空间 同构于 维欧式空间 。为此，任取 上的一组单位正交基 ，则任意向量 具备坐标 。由内积的性质，此时任意 的内积都唯一对应其坐标空间上的欧式内积。因此基 便诱导出 与 的同构。

  更一般的，有限维内积空间总是同构于欧式空间。在这一视角下，任意中心化的随机变量³ 的协方差恰为其在 上的内积，此时相关对数便对应该线性空间中的夹角 ：

  1. 若两向量同向，则其夹角（相关系数）为 。
  2. 若两向量反向，则其夹角（相关系数）为 。
  3. 若两向量正交，则其夹角为 。

  一般的，我们也会在连续概率空间中沿用这些看法，尽管此处并不会给出证明。

• 以上，一个重要的看法是相关系数对应中心化随机变量在 中的夹角。如果我们只关注该部分，即考虑商空间 ⁴，那么其恰好包含了全体中心化随机变量。该线性空间的维度为 ，因其可以看作在 上加入了中心化约束，恰为一线性约束。现在我们在中心化随机变量的线性空间中考虑，由 Cauchy-Schwartz 的基本性质，其取等当且仅当向量 同向，即存在标量非零标量 使得 几乎处处成立。对于非中心化随机变量便有： 这便证明了相关系数的性质 2, 3 的必要性。至于充分性，是容易验证的。

协方差矩阵

• 对于 上的随机向量 ，定义其协方差矩阵为： 显然，协方差矩阵度量了高维随机向量的每两维之间的线性相关程度。而这样定义也会带来一些好处，即其可以方便的表示 的不同方向之间的协方差。即对于 中的任意方向 ，考虑投影 ，该两方向的协方差恰为： 而对于某些较为简单的分布，例如高维高斯，协方差矩阵决定了数据云的形状，而其主方向由特征值分解给出。⁵

---

1. 我也不确定怎么严格的说明这一点。↩︎

2. 其实我只能说对于离散概率空间而言，以上的性质是容易验证的。对于连续随机变量，我没学过泛函分析，也没有验证。↩︎

3. 这显然不影响协方差和方差。↩︎

4. 此处的商空间按照 上向量元素的加法阿贝尔群的商群定义。↩︎

5. 我们以后应该会详细讨论特征值分解这一概念。↩︎