«Геометрия Кульбака» относится к геометрической точке зрения, основанной на дивергенции Кульбака–Лейблера (KL), которая измеряет, насколько одно распределение вероятностей отличается от другого. Вместо того чтобы рассматривать вероятности как простые числа, эта геометрия рассматривает семейства распределений как изогнутые пространства, где расстояние определяется потерей информации. В теории вероятностей дивергенция KL и ее геометрия используются для изучения сходимости, больших отклонений и оптимальных приближений между случайными моделями. В машинном обучении геометрия Кульбака лежит в основе вариационного вывода, максимизации ожидания и современных генеративных моделей, где обучение означает перемещение модели через это информационное пространство, чтобы приблизиться к распределению данных. В реальной жизни она проявляется в сжатии данных, обработке сигналов и принятии решений, где минимизация дивергенции KL означает использование моделей, которые тратят как можно меньше информации при представлении неопределенной реальности. Изображение: