Nachdem ich gesehen habe, dass hochdimensionale Einheitskugeln fast ihr gesamtes Volumen in einer dünnen Schale verbergen, hier ist eine noch verrücktere Fortsetzung: Eine hochdimensionale Gaussian ist keine gemütliche Glocke mit Masse, die am Gipfel gekuschelt ist, sie ist im Grunde leer im Zentrum, mit fast aller Wahrscheinlichkeit, die in einem dünnen Halo auf dem Hang in einer Entfernung von etwa "Quadratwurzel der Dimension" vom Ursprung lebt. Das bedeutet, dass eine "typische" Ziehung aus einer hundertdimensionalen Gaussian nirgendwo in der Nähe des Mittelwerts ist! 🤯 Sie sitzt auf diesem Ring, wo die Dichte niedriger ist, aber das Volumen enorm ist. In der realen Welt interpretiert, ist das riesig: Wenn du ein großes neuronales Netzwerk mit Gaussian-Gewichten initialisierst, haben die meisten Netzwerke, die du bekommst, ungefähr die gleiche Gesamtgewichtsnorm, die alle auf dieser Schale sitzen, sodass das Training auf einem dünnen Energiering stattfindet, anstatt nahe null.

Im vorherigen Beitrag haben wir gesehen, dass in hohen Dimensionen fast das gesamte Volumen einer Einheitssphäre in einer rasiermesserdünnen Schale nahe der Grenze lebt. Aber es gibt eine weitere Wendung! 😄 Die meisten Punkte liegen auch in einer schmalen zentralen Platte um jede feste Richtung. Ein „typischer“ Punkt ist in Bezug auf die Gesamtdistanz weit vom Ursprung entfernt, aber seine Koordinate entlang einer gegebenen Achse ist winzig. Hochdimensionale Punkte sind sowohl „an der Oberfläche“ als auch „nahe dem Äquator“, weshalb zufällige Vektoren in hochdimensionalen Machine Learning-Räumen fast orthogonal sind. 🤯 Danke an @mutko55, dass du mich daran erinnert hast. #HighDimensionalSpace #MachineLearning

Das ist eines der seltsamsten Dinge, die ich je gelernt habe.🤨😦🤯 Wir sind so darauf konditioniert, in 1, 2 und 3 Dimensionen zu denken, dass unsere Intuition dort lebt, aber sobald man in hohe Dimensionen eintritt, beginnt selbst etwas so Grundlegendes wie Abstand sich auf eine Weise zu verhalten, die falsch erscheint. In einer hochdimensionalen Kugel lebt fast das gesamte Volumen in einer dünnen Schale nahe der Grenze... verringere den Radius nur ein kleines bisschen und du hast fast alles weggeworfen, sodass zufällige Punkte überhaupt nicht in der Mitte sitzen, sie werden in einen mikroskopischen Halo am Rand gedrückt. Das ist einer der Gründe, warum Abstand, nächste Nachbarn und geometrische Intuition in hochdimensionalen Machine Learning-Räumen so seltsam agieren. Hochdimensionale Geometrie sagt dir leise, dass dein niederdimensionales Gehirn dich anlügt. 🤯 #HighDimensionalSpace #MachineLearning