"Kullback-geometri" refererer til det geometriske synspunktet som er bygget rundt Kullback–Leibler (KL)-divergensen, som måler hvordan en sannsynlighetsfordeling skiller seg fra en annen. I stedet for å behandle sannsynligheter som enkle tall, behandler denne geometrien familier av fordelinger som buede rom hvor avstand defineres av informasjonstap. I sannsynlighetsteori brukes KL-divergens og dens geometri til å studere konvergens, store avvik og optimale tilnærminger mellom tilfeldige modeller. Innen maskinlæring ligger Kullback-geometri i kjernen av variasjonsinferens, forventningsmaksimering og moderne generative modeller, hvor læring innebærer å flytte en modell gjennom dette informasjonsrommet for å komme nærmere datafordelingen. I virkeligheten forekommer det i datakomprimering, signalbehandling og beslutningstaking, hvor minimering av KL-divergens betyr å bruke modeller som kaster bort så lite informasjon som mulig når de representerer usikker virkelighet. Bilde: