“Kullback 幾何”是指圍繞 Kullback–Leibler (KL) 數據散度建立的幾何觀點，它衡量一個概率分佈與另一個概率分佈之間的差異。這種幾何學不僅將概率視為簡單的數字，而是將分佈族視為曲面空間，其中距離由信息損失定義。在概率論中，KL 數據散度及其幾何用於研究隨機模型之間的收斂、大偏差和最佳近似。在機器學習中，Kullback 幾何是變分推斷、期望最大化和現代生成模型的核心，學習意味著在這個信息空間中移動模型，以更接近數據分佈。在現實生活中，它出現在數據壓縮、信號處理和決策制定中，最小化 KL 數據散度意味著使用在表示不確定現實時盡量少浪費信息的模型。 圖片：