Kullback-Leibler divergence (KL散度)

KL散度也称为相对熵，是衡量两个概率分布间差异的非对称性度量，数值越大表示两个分布越相似。从Q到P的KL散度计算公式为

$D_{KL}(P||Q)=\int P(x)\log{\frac{P(x)}{Q(x)}}{\rm d}x$

以P为真实分布，Q为拟合分布。最小化$D_{KL}(P||Q)$时，P大的地方Q也必须要大，P小的地方对Q的大小不太敏感；最小化$D_{KL}(Q||P)$时，P小的地方Q也必须要小，P大的地方对Q的大小不太敏感。

KL散度无上界，最小值为0。

交叉熵等与KL散度加信息熵

$H(P,Q) = D_{KL}(P,Q)+H(P) \\ H(P,Q)=-\int P(x)\log{Q(x)} {\rm d}x \\ H(P)=-\int P(x)\log{P(x)} {\rm d}x$

Jensen-Shannon divergence (JS散度)

为了解决KL散度不对称的问题，JS散度的计算公式为

$JSD(P||Q) = \frac{1}{2} D_{KL}(P||M)+\frac{1}{2} D_{KL}(Q||M) \\ M = \frac{P+Q}{2}$

Wasserstein distance (Earth Mover's distance)

相比于散度，Wasserstein距离是真正的距离，即使两个分布没有重合，Wasserstein距离也有意义。形象的理解是它把数据从分布P“移动成”分布Q时所需要移动的平均距离的最小值。

一般的计算公式为

$W_{p}(P, Q)=\left(\inf _{J \in \mathcal{J}(P, Q)} \int\|x-y\|^{p} d J(x, y)\right)^{1 / p}$

其中$\mathcal{J}(P,Q)$是所有联合分布的集合，且满足边缘分布分别为P和Q。当该式取得下确界时，$J$表示了最优传输的方案。
特例

1. $p=1$

$W_{1}(P, Q)=\sup \left\{\int f(x) d P(x)-\int f(x) d Q(x): f \in \mathcal{F}\right\}$

其中$\mathcal{F}$代表所有$\R^d \rightarrow \R$，且满足一阶Lipschitz平滑的函数集

2. $d=1$，有闭式解

$W_{p}(P, Q)=\left(\int_{0}^{1}\left|F^{-1}(z)-G^{-1}(z)\right|^{p}\right)^{1 / p}$

其中$F,G$分别为分布$P,Q$的累积分布函数

3. $d=1$，从$P$采样$X_1, \dots,X_n$，从$Q$采样$Y_1,\dots,Y_n$

$W_{p}(P, Q)=\left(\sum_{i=1}^{n}\left\|X_{(i)}-Y_{(i)}\right\|^{p}\right)^{1 / p}$

4. $P\sim N(\mu_1,\Sigma_1),Q\sim N(\mu_2,\Sigma_2)$

$\begin{gathered} W_2^{2}(P, Q)=\left\|\mu_{1}-\mu_{2}\right\|^{2}+B^{2}\left(\Sigma_{1}, \Sigma 2\right) \\ B^{2}\left(\Sigma_{1}, \Sigma 2\right)=\operatorname{tr}\left(\Sigma_{1}\right)+\operatorname{tr}\left(\Sigma_{2}\right)-2 \operatorname{tr}\left[\left(\Sigma_{1}^{1 / 2} \Sigma_{2} \Sigma_{1}^{1 / 2}\right)^{1 / 2}\right] \end{gathered}$

Total Varation distance

$\delta(P,Q) =\sup_A |P(A)-Q(A)| = \frac{1}{2}\int |p-q|$

Hellinger distance

$H(P,Q) = \sqrt{\int(\sqrt{p}-\sqrt{q})^{2}}$

KL散度、Total Variation distanc、Helinger distance都是f-divergence的特例