“Kullback几何”是围绕Kullback–Leibler (KL) 散度构建的几何视角，它衡量一个概率分布与另一个概率分布之间的差异。与将概率视为简单数字不同，这种几何将分布族视为曲面空间，其中距离由信息损失定义。在概率论中，KL散度及其几何用于研究收敛、大偏差和随机模型之间的最佳近似。在机器学习中，Kullback几何是变分推断、期望最大化和现代生成模型的核心，其中学习意味着在这个信息空间中移动模型，以更接近数据分布。在现实生活中，它出现在数据压缩、信号处理和决策制定中，最小化KL散度意味着使用尽可能少浪费信息的模型来表示不确定的现实。 图片：