După ce am văzut că bilele unitare de înaltă dimensiune ascund aproape tot volumul într-o carcasă subțire, iată o continuare și mai nebună: O Gaussiană de înaltă dimensiune nu este un clopot confortabil cu masa în vârf, este practic goală în centru, cu aproape toată probabilitatea trăind într-un halou subțire pe pantă, la o distanță de aproximativ "rădăcina pătrată a dimensiunii" de origine. Asta înseamnă că o extragere "tipică" dintr-un gaussian cu o sută de dimensiuni nu este nici pe departe media! 🤯 Se află pe acest inel, unde densitatea este mai mică, dar volumul este enorm. Interpretat în viața reală, asta este uriaș: când inițializezi o rețea neuronală mare cu greutăți gaussiene, majoritatea rețelelor pe care le obții au aproximativ aceeași normă generală de greutate, toate stând pe această coajă, așa că antrenamentul se desfășoară pe un inel subțire de energie, nu aproape de zero. #HighDimensionalSpace #MachineLearning #Gaussian