高斯分布（搞懂多变量高斯分布的由来）

高斯分布（搞懂多变量高斯分布的由来）

多变量高斯分布(multivariate Gaussian distribution)的形式如下：

其中， 是D维 mean vector， 是 协方差矩阵， 里面的第 i 行第 j 列元素表示第 i 个变量第 j 个变量的协方差 ， 代表协方差矩阵的行列式。

二维高斯分布的图如下所示（来自wikipedia），它的每一个维度都是高斯分布：

本文主要就是讲式(1)的由来。 前置知识：雅可比矩阵和雅可比行列式

设 是一个函数，它的输入是向量 ，输出是向量 :

那么 雅可比矩阵 是一个mn矩阵：

由于矩阵描述了向量空间中的运动——变换，而雅可比矩阵看作是将点 转化到点 ，或者说是从一个n维的欧式空间转换到m维的欧氏空间。

如果m = n， 可以定义雅可比矩阵 的行列式，也就是 雅可比行列式（Jacobian determinant） 。

在微积分换元中，也就是给出了 从x到y的n维体积的比率, 二维雅可比矩阵的几何意义 在二维情况（有直观的图），雅可比行列式代表xy平面上的面积微元与uv平面上的面积微元的比值。

设

雅可比行列式是：

如图所示：dA代表dx和dy张成的平行四边形的面积，如果du和dv充分接近于0，那么dA：

二重积分换元：

n维度情况以此类推。

多变量高斯分布

首先考虑 单变量标准正态分布 ，概率密度函数为：

然后考虑 n 维独立标准高斯分布，就是 n 个 独立的 一维标准正态分布随机变量的联合分布：

为了表达方便，用向量的形式来表示，设 ，式（3）写作：

一般的，设 由 的线性变换得到：

其中A是 的 非奇异矩阵 ， 是n维向量

可把 用 表示：

注意到， 式（6）线性变换的雅可比行列式 是 ，因此：

设 ，则 ，由联合概率分布密度的定义，有：

因此，向量 的联合概率概率密度函数是：

也就得到式（1）

可以看出：多变量高斯分布是单变量高斯分布向多维的推广