După ce am văzut că bilele unitare de înaltă dimensiune ascund aproape tot volumul într-o carcasă subțire, iată o continuare și mai nebună: O Gaussiană de înaltă dimensiune nu este un clopot confortabil cu masa în vârf, este practic goală în centru, cu aproape toată probabilitatea trăind într-un halou subțire pe pantă, la o distanță de aproximativ "rădăcina pătrată a dimensiunii" de origine. Asta înseamnă că o extragere "tipică" dintr-un gaussian cu o sută de dimensiuni nu este nici pe departe media! 🤯 Se află pe acest inel, unde densitatea este mai mică, dar volumul este enorm. Interpretat în viața reală, asta este uriaș: când inițializezi o rețea neuronală mare cu greutăți gaussiene, majoritatea rețelelor pe care le obții au aproximativ aceeași normă generală de greutate, toate stând pe această coajă, așa că antrenamentul se desfășoară pe un inel subțire de energie, nu aproape de zero. #HighDimensionalSpace #MachineLearning #Gaussian

În postarea anterioară am văzut că, în dimensiuni mari, aproape tot volumul unei bile unitare trăiește într-o cochilie extrem de subțire lângă margine. Dar mai este o întorsătură! 😄 Majoritatea punctelor se află, de asemenea, într-o placă centrală îngustă în jurul oricărei direcții fixe. Așadar, un punct "tipic" este departe de origine în termeni de distanță totală, dar coordonata sa de-a lungul oricărei axe date este foarte mică. Punctele de înaltă dimensiune sunt atât "la suprafață", cât și "aproape de ecuator", motiv pentru care vectorii aleatori sunt aproape ortogonali în spațiile de învățare automată de înaltă dimensiune. 🤯 Mulțumesc lui @mutko55 că mi-a reamintit asta. #HighDimensionalSpace #MachineLearning

Este unul dintre cele mai ciudate lucruri pe care le-am învățat vreodată. 🤨😦🤯 Am fost atât de condiționați să gândim în 1, 2 și 3 dimensiuni încât intuiția noastră practic trăiește acolo, dar odată ce pășești în dimensiuni înalte, chiar și ceva atât de simplu precum distanța începe să se comporte într-un mod care pare greșit. Într-o bilă de dimensiuni înalte, aproape tot volumul trăiește într-o cochilie subțire lângă limită... Micșorează raza doar puțin și ai aruncat aproape totul, așa că punctele aleatorii nu stau deloc în mijloc, ci sunt strivite într-un halou microscopic la margine. Acesta este unul dintre motivele pentru care distanța, cei mai apropiați vecini și intuiția geometrică încep să se comporte atât de ciudat în spațiile de învățare automată de înaltă dimensiune. Geometria de dimensiuni înalte îți spune în tăcere că creierul tău de dimensiune joasă te minte. 🤯 #HighDimensionalSpace #MachineLearning