A "geometria de Kullback" refere-se ao ponto de vista geométrico construído em torno da divergência de Kullback–Leibler (KL), que mede como uma distribuição de probabilidade difere de outra. Em vez de tratar as probabilidades como números simples, esta geometria trata famílias de distribuições como espaços curvados onde a distância é definida pela perda de informação. Na teoria das probabilidades, a divergência KL e sua geometria são usadas para estudar a convergência, grandes desvios e aproximações ótimas entre modelos aleatórios. Em aprendizado de máquina, a geometria de Kullback está no cerne da inferência variacional, maximização de expectativa e modelos generativos modernos, onde aprender significa mover um modelo através deste espaço de informação para se aproximar da distribuição de dados. Na vida real, ela aparece em compressão de dados, processamento de sinais e tomada de decisões, onde minimizar a divergência KL significa usar modelos que desperdiçam o mínimo de informação possível ao representar uma realidade incerta. Imagem: