Після того, як я побачив, що кулі високорозмірних одиниць ховають майже весь свій об'єм у тонкій оболонці, ось ще більш божевільне продовження: Високовимірний гаусівський дзвін — це не затишний дзвін із масою, притиснутою до вершини, він фактично порожній у центрі, і майже вся ймовірність живе у тонкому ореолі на схилі на відстані приблизно «квадратного кореня розмірності» від початку координат. Це означає, що «типовий» малюнок зі стовимірного гаусівського діапазону — це зовсім не середнє значення! 🤯 Він розташований на цьому кільці, де щільність менша, але об'єм величезний. У реальному житті це дуже важливо: коли ви ініціалізуєте велику нейронну мережу за допомогою гаусових ваг, більшість мереж, які ви отримуєте, мають приблизно однакову загальну норму ваги, всі знаходяться на цій оболонці, тому тренування відбувається на тонкому енергетичному кільці, а не майже на нулі. #HighDimensionalSpace #MachineLearning #Gaussian

У попередньому дописі ми бачили, що у великих розмірах майже весь об'єм кулі одиниці знаходиться в тонкій, як бритва, оболонкі біля межі. Але є ще один поворот! 😄 Більшість точок також розташовані у вузькій центральній плиті навколо будь-якого фіксованого напрямку. Отже, «типова» точка далеко від початку координат за загальною відстанню, але її координата вздовж будь-якої осі дуже маленька. Точки високорозмірності розташовані як «на поверхні», так і «біля екватора», тому випадкові вектори майже ортогональні у просторах машинного навчання з великою вимірністю. 🤯 Дякую @mutko55 за те, що нагадав мені про це. #HighDimensionalSpace #MachineLearning

Це одна з найдивніших речей, які я коли-небудь дізнавався. 🤨😦🤯 Нас настільки привчили мислити в 1, 2 і 3 вимірах, що наша інтуїція фактично живе там, але як тільки ти заходиш у високі виміри, навіть щось таке базове, як відстань, починає поводитися неправильно. У високовимірній кулі майже весь об'єм розташований у тонкій оболонкі біля межі... Якщо зменшити радіус трохи — ви викинете майже все, тож випадкові точки взагалі не сидять посередині, вони стискаються в мікроскопічний ореол на краю. Ось чому відстань, найближчі сусіди та геометрична інтуїція починають поводитися так дивно у просторах високовимірного машинного навчання. Високовимірна геометрія тихо підказує вам, що ваш мозок у низьких вимірах вам бреше. 🤯 #HighDimensionalSpace #MachineLearning