"Kullback-geometri" syftar på det geometriska synsättet som byggts kring Kullback–Leibler (KL)-divergensen, som mäter hur en sannolikhetsfördelning skiljer sig från en annan. Istället för att behandla sannolikheter som enkla tal, behandlar denna geometri familjer av fördelningar som böjda rum där avståndet definieras av informationsförlust. Inom sannolikhetsteori används KL-divergens och dess geometri för att studera konvergens, stora avvikelser och optimala approximationer mellan slumpmässiga modeller. Inom maskininlärning ligger Kullback-geometrin i hjärtat av variationell inferens, förväntan–maximering och moderna generativa modeller, där inlärning innebär att flytta en modell genom detta informationsutrymme för att komma närmare datadistributionen. I verkligheten förekommer det i datakomprimering, signalbehandling och beslutsfattande, där minimering av KL-divergens innebär att använda modeller som slösar så lite information som möjligt när de representerar osäker verklighet. Bild: