"Kullback geometrisi", bir olasılık dağılımının diğerinden nasıl ayrıldığını ölçen Kullback–Leibler (KL) ayrımı etrafında inşa edilen geometrik bakış açısını ifade eder. Olasılıkları basit sayılar olarak ele almak yerine, bu geometri dağılım ailelerini eğri uzaylar olarak ele alır; mesafe bilgi kaybıyla tanımlanır. Olasılık teorisinde, KL sapması ve geometrisi, rastgele modeller arasındaki yakınsama, büyük sapmalar ve optimal yaklaşımları incelemek için kullanılır. Makine öğreniminde, Kullback geometrisi varyasyonel çıkarım, beklenti-maksimizasyon ve modern üretken modellerin kalbinde yer alır; burada öğrenme, bir modeli bu bilgi alanında veri dağılımına yaklaştırmak için hareket ettirmek anlamına gelir. Gerçek hayatta, veri sıkıştırma, sinyal işleme ve karar verme süreçlerinde ortaya çıkar; burada KL ayrışmasını en aza indirmek, belirsiz gerçekliği temsil ederken mümkün olduğunca az bilgi israfı yapan modeller kullanmak anlamına gelir. Görsel: