بعد أن رأيت أن كرات الوحدة عالية الأبعاد تخفي تقريبا كل حجمها في غلاف رقيق، إليك جزءا أكثر جنونا: الجاوسي عالي الأبعاد ليس جرسا دافئا مع كتلة متلاصقة عند القمة، بل هو فارغ في المركز، مع وجود معظم الاحتمالية في هالة رقيقة على المنحدر على مسافة تقارب "الجذر التربيعي للبعد" من الأصل. هذا يعني أن السحب "النموذجي" من غاوسي مئة بعد ليس قريبا من المتوسط! 🤯 يجلس على هذا الحلقة حيث الكثافة أقل لكن حجمه هائل. إذا فسرت في الحياة الواقعية، فهذا أمر ضخم: عندما تقوم ببدء شبكة عصبية كبيرة بأوزان غاوسية، فإن معظم الشبكات التي تحصل عليها تقريبا نفس معيار الوزن الإجمالي، كلها موضوعة على هذا القشرة، لذا التدريب يحدث على حلقة طاقة رفيعة وليس قريبا من الصفر. #HighDimensionalSpace #MachineLearning #Gaussian

في المنشور السابق رأينا أنه في الأبعاد العالية، يعيش تقريبا كل حجم كرة الوحدة في قشرة رقيقة جدا بالقرب من الحدود. لكن هناك منعطف آخر! 😄 تقع معظم النقاط أيضا في لوح مركزي ضيق حول أي اتجاه ثابت. لذا فإن النقطة "النموذجية" بعيدة عن الأصل من حيث المسافة الإجمالية، لكن إحداثياتها على أي محور معين صغيرة جدا. النقاط عالية الأبعاد تكون "على السطح" و"بالقرب من خط الاستواء" في آن واحد، ولهذا السبب تكون المتجهات العشوائية شبه متعامدة في فضاءات التعلم الآلي عالية الأبعاد. 🤯 شكرا ل @mutko55 لتذكيري بهذا. #HighDimensionalSpace #MachineLearning

هذه واحدة من أغرب الأشياء التي تعلمتها في حياتي. 🤨😦🤯 لقد تم تكييفنا على التفكير في أبعاد 1 و2 و3 لدرجة أن حدسنا يعيش هناك أساسا، لكن بمجرد أن تدخل الأبعاد العالية، يبدأ حتى شيء أساسي مثل المسافة في التصرف بطريقة تبدو خاطئة. في كرة عالية الأبعاد، يعيش تقريبا كل الحجم في قشرة رقيقة بالقرب من الحدود... إذا قلصت نصف القطر قليلا فقط، فأنت قد تخلصت تقريبا من كل شيء، لذا لا تجلس النقاط العشوائية في المنتصف على الإطلاق، بل تتحطم إلى هالة مجهرية عند الحافة. هذا أحد الأسباب التي تجعل المسافة، وأقرب الجيران، والحدس الهندسي يتصرف بغرابة في فضاءات تعلم الآلة عالية الأبعاد. الهندسة عالية الأبعاد تخبرك بهدوء أن دماغك منخفض الأبعاد يكذب عليك. 🤯 #HighDimensionalSpace #MachineLearning