Depois de ver que as bolas unitárias de alta dimensão escondem quase todo o seu volume em uma fina camada, aqui está uma sequência ainda mais louca: Um Gaussian de alta dimensão não é um sino aconchegante com massa aconchegada no pico, é basicamente vazio no centro, com quase toda a probabilidade vivendo em um fino halo na encosta a uma distância de cerca de "raiz quadrada da dimensão" da origem. Isso significa que um sorteio "típico" de um Gaussian de cem dimensões está longe da média! 🤯 Ele se encontra neste anel onde a densidade é menor, mas o volume é enorme. Interpretado na vida real, isso é enorme: quando você inicializa uma grande rede neural com pesos Gaussianos, a maioria das redes que você obtém tem aproximadamente a mesma norma de peso geral, todas situadas nesta camada, então o treinamento está acontecendo em um fino anel de energia em vez de perto de zero. #HighDimensionalSpace #MachineLearning #Gaussian

No post anterior, vimos que, em altas dimensões, quase todo o volume de uma bola unitária vive em uma casca fina como uma lâmina perto da borda. Mas há uma outra reviravolta! 😄 A maioria dos pontos também se encontra em uma faixa central estreita em torno de qualquer direção fixa. Assim, um ponto "típico" está longe da origem em termos de distância geral, mas sua coordenada ao longo de qualquer eixo dado é minúscula. Pontos de alta dimensão estão tanto "na superfície" quanto "perto do equador", e é por isso que vetores aleatórios são quase ortogonais em espaços de aprendizado de máquina de alta dimensão. 🤯 Obrigado ao @mutko55 por me lembrar disso. #HighDimensionalSpace #MachineLearning

Esta é uma das coisas mais estranhas que já aprendi.🤨😦🤯 Fomos tão condicionados a pensar em 1, 2 e 3 dimensões que a nossa intuição basicamente vive lá, mas uma vez que você entra em altas dimensões, até algo tão básico quanto a distância começa a se comportar de uma maneira que parece errada. Em uma bola de alta dimensão, quase todo o volume vive em uma fina camada perto da borda... diminua o raio apenas um pouquinho e você jogou fora quase tudo, então pontos aleatórios não ficam no meio de jeito nenhum, eles são esmagados em um halo microscópico na borda. Essa é uma das razões pelas quais a distância, os vizinhos mais próximos e a intuição geométrica começam a agir de forma tão estranha em espaços de Machine Learning de alta dimensão. A geometria de alta dimensão está silenciosamente dizendo que seu cérebro de baixa dimensão está mentindo para você. 🤯 #HighDimensionalSpace #MachineLearning