Setelah melihat bahwa bola unit dimensi tinggi menyembunyikan hampir semua volumenya dalam cangkang tipis, berikut adalah sekuel yang lebih gila: Gaussian berdimensi tinggi bukanlah lonceng yang nyaman dengan massa yang dipeluk di puncak, pada dasarnya kosong di tengah, dengan hampir semua kemungkinan hidup di lingkaran tipis di lereng pada jarak sekitar "akar kuadrat dimensi" dari asalnya. Itu berarti gambar "khas" dari Gaussian seratus dimensi tidak mendekati rata-rata! 🤯 Itu duduk di anulus ini di mana kepadatannya lebih rendah tetapi volumenya sangat besar. Ditafsirkan dalam kehidupan nyata, itu sangat besar: ketika Anda menginisialisasi jaringan saraf besar dengan bobot Gaussian, sebagian besar jaringan yang Anda dapatkan memiliki norma berat keseluruhan yang kira-kira sama, semuanya duduk di cangkang ini, jadi pelatihan terjadi pada cincin energi tipis daripada mendekati nol. #HighDimensionalSpace #MachineLearning #Gaussian

Dalam posting sebelumnya kita melihat bahwa, dalam dimensi tinggi, hampir semua volume bola unit hidup dalam cangkang setipis silet di dekat batas. Tapi ada twist lain! 😄 Sebagian besar titik juga terletak di lempengan tengah yang sempit di sekitar arah tetap mana pun. Jadi titik "khas" jauh dari asal dalam hal jarak keseluruhan, tetapi koordinatnya di sepanjang sumbu tertentu kecil. Titik dimensi tinggi adalah "di permukaan" dan "dekat khatulistiwa", itulah sebabnya vektor acak hampir ortogonal dalam ruang pembelajaran mesin dimensi tinggi. 🤯 Terima kasih kepada @mutko55 karena telah mengingatkan saya tentang hal ini. #HighDimensionalSpace #MachineLearning

Ini adalah salah satu hal paling aneh yang pernah saya pelajari. 🤨😦🤯 Kita telah dikondisikan untuk berpikir dalam dimensi 1, 2, dan 3 sehingga intuisi kita pada dasarnya hidup di sana, tetapi begitu Anda melangkah ke dimensi tinggi, bahkan sesuatu yang mendasar seperti jarak mulai berperilaku dengan cara yang terasa salah. Dalam bola dimensi tinggi, hampir semua volume hidup dalam cangkang tipis di dekat batas ... Kecilkan jari-jari sedikit dan Anda telah membuang hampir semuanya, sehingga titik acak tidak duduk di tengah sama sekali, mereka dihancurkan menjadi lingkaran mikroskopis di tepinya. Itulah salah satu alasan jarak, tetangga terdekat, dan intuisi geometris mulai bertindak begitu aneh di ruang Pembelajaran Mesin berdimensi tinggi. Geometri dimensi tinggi diam-diam memberi tahu Anda bahwa otak dimensi rendah Anda berbohong kepada Anda. 🤯 #HighDimensionalSpace #MachineLearning