Depois de ver que bolas unitárias de alta dimensão escondem quase todo o volume em uma casca fina, aqui vai uma sequência ainda mais louca: Uma Gaussiana de alta dimensão não é um sino aconchegante com massa aconchegada no topo, ela é basicamente vazia no centro, com quase toda a probabilidade vivendo em um halo fino na encosta, a uma distância de cerca de "raiz quadrada da dimensão" da origem. Isso significa que um "sorteio típico" de um Gaussiano de cem dimensões está longe da média! 🤯 Ele fica nesse anel onde a densidade é menor, mas o volume é enorme. Interpretado na vida real, isso é enorme: quando você inicializa uma grande rede neural com pesos gaussianos, a maioria das redes que você obtém tem aproximadamente a mesma norma geral de peso, todas apoiadas nessa casca, então o treinamento acontece em um anel de energia fino em vez de quase zero. #HighDimensionalSpace #MachineLearning #Gaussian

No post anterior, vimos que, em grandes dimensões, quase todo o volume de uma bola unitária vive em uma casca finíssima perto da fronteira. Mas tem outra reviravolta! 😄 A maioria dos pontos também está situada em uma laje central estreita ao redor de qualquer direção fixa. Assim, um ponto "típico" está longe da origem em termos de distância total, mas sua coordenada ao longo de qualquer eixo é minúscula. Pontos de alta dimensão estão tanto "na superfície" quanto "próximos ao equador", por isso vetores aleatórios são quase ortogonais em espaços de aprendizado de máquina de alta dimensão. 🤯 Obrigado à @mutko55 por me lembrar disso. #HighDimensionalSpace #MachineLearning

Isso é uma das coisas mais estranhas que já aprendi. 🤨😦🤯 Fomos tão condicionados a pensar em 1, 2 e 3 dimensões que nossa intuição basicamente vive lá, mas uma vez que você entra em dimensões altas, até algo tão básico quanto distância começa a se comportar de uma forma que parece errada. Em uma bola de alta dimensão, quase todo o volume vive em uma casca fina próxima ao limite... Encolhe o raio só um pouquinho e você joga fora quase tudo, então pontos aleatórios não ficam no meio, eles são esmagados em um halo microscópico na borda. Essa é uma das razões pelas quais distância, vizinhos mais próximos e intuição geométrica começam a agir de forma tão estranha em espaços de Aprendizado de Máquina de alta dimensão. Geometria de alta dimensão está te dizendo silenciosamente que seu cérebro de baixa dimensão está mentindo para você. 🤯 #HighDimensionalSpace #MachineLearning