Después de ver que las bolas unitarias de alta dimensión ocultan casi todo su volumen en una delgada capa, aquí hay una secuela aún más loca: Un Gaussian de alta dimensión no es una campana acogedora con masa acurrucada en la cima, está básicamente vacío en el centro, con casi toda la probabilidad viviendo en un halo delgado en la pendiente a una distancia de aproximadamente "raíz cuadrada de la dimensión" desde el origen. Eso significa que un sorteo "típico" de un Gaussian de cien dimensiones está muy lejos de la media! 🤯 Se encuentra en este anillo donde la densidad es más baja pero el volumen es enorme. Interpretado en la vida real, eso es enorme: cuando inicializas una gran red neuronal con pesos Gaussianos, la mayoría de las redes que obtienes tienen aproximadamente la misma norma de peso general, todas sentadas en esta capa, por lo que el entrenamiento ocurre en un delgado anillo de energía en lugar de cerca de cero. #HighDimensionalSpace #MachineLearning #Gaussian

En la publicación anterior vimos que, en dimensiones altas, casi todo el volumen de una esfera unitaria vive en una capa delgada como una hoja cerca del límite. ¡Pero hay otro giro! 😄 La mayoría de los puntos también se encuentran en una delgada losa central alrededor de cualquier dirección fija. Así que un punto "típico" está lejos del origen en términos de distancia total, pero su coordenada a lo largo de cualquier eje dado es diminuta. Los puntos de alta dimensión están tanto "en la superficie" como "cerca del ecuador", lo que explica por qué los vectores aleatorios son casi ortogonales en espacios de aprendizaje automático de alta dimensión. 🤯 Gracias a @mutko55 por recordarme esto. #HighDimensionalSpace #MachineLearning

Esta es una de las cosas más extrañas que he aprendido.🤨😦🤯 Hemos estado tan condicionados a pensar en 1, 2 y 3 dimensiones que nuestra intuición vive básicamente allí, pero una vez que entras en dimensiones altas, incluso algo tan básico como la distancia comienza a comportarse de una manera que se siente incorrecta. En una esfera de alta dimensión, casi todo el volumen vive en una delgada capa cerca del límite... reduce el radio solo un poco y habrás desechado casi todo, así que los puntos aleatorios no se sitúan en el medio en absoluto, están aplastados en un halo microscópico en el borde. Esa es una de las razones por las que la distancia, los vecinos más cercanos y la intuición geométrica comienzan a actuar de manera tan extraña en los espacios de Machine Learning de alta dimensión. La geometría de alta dimensión te está diciendo en silencio que tu cerebro de baja dimensión te está mintiendo. 🤯 #HighDimensionalSpace #MachineLearning