"Kullback-geometrie" verwijst naar het geometrische perspectief dat is opgebouwd rond de Kullback–Leibler (KL) divergentie, die meet hoe de ene kansverdeling verschilt van de andere. In plaats van kansen als eenvoudige getallen te beschouwen, behandelt deze geometrie verzamelingen van verdelingen als gebogen ruimtes waar afstand wordt gedefinieerd door informatieverlies. In de kansrekening worden KL-divergentie en zijn geometrie gebruikt om convergentie, grote afwijkingen en optimale benaderingen tussen willekeurige modellen te bestuderen. In machine learning ligt Kullback-geometrie aan de basis van variational inference, expectation–maximization en moderne generatieve modellen, waarbij leren betekent dat een model door deze informatie ruimte beweegt om dichter bij de dataverdeling te komen. In het echte leven komt het voor in datacompressie, signaalverwerking en besluitvorming, waarbij het minimaliseren van KL-divergentie betekent dat modellen worden gebruikt die zo min mogelijk informatie verspillen bij het vertegenwoordigen van een onzekere realiteit. Afbeelding: