KL散度

KL-divergence，KL散度，KL距离，又叫相对熵(relative entropy)，衡量两个概率分布之间的不同程度，是描述两个概率分布P和Q差异的一种方法

就是信息论学的相对熵

最简单的情况：当KL-divergence为0时，两个分布完全相同。

P和Q越相似，KL散度越小

KL散度的取值范围是[0,+∞]

JS散度

JS散度基于KL散度，同样是二者越相似，JS散度越小。

• JS散度的取值范围在0-1之间，完全相同时为0
• JS散度是对称的