在看到高维单位球几乎所有的体积都隐藏在一个薄壳中之后，这里有一个更疯狂的续集： 高维高斯分布并不是一个温馨的钟形曲线，质量集中在峰值上，它的中心基本上是空的，几乎所有的概率都生活在距离原点约“维度的平方根”的斜坡上的一个薄光环中。 这意味着从一个百维高斯分布中“典型”的抽样根本不在均值附近！🤯 它位于这个环带上，虽然密度较低，但体积巨大。 在现实生活中，这意味着很大：当你用高斯权重初始化一个大型神经网络时，得到的大多数网络的整体权重范数大致相同，全部位于这个壳上，因此训练发生在一个薄薄的能量环上，而不是接近零的地方。 #HighDimensionalSpace #MachineLearning #Gaussian

在之前的帖子中，我们看到在高维空间中，单位球的几乎所有体积都位于靠近边界的极薄壳层中。 但还有另一个转折！😄 大多数点也位于任何固定方向周围的狭窄中央层中。因此，一个“典型”的点在整体距离上远离原点，但它在任何给定轴上的坐标却很小。高维点既“在表面上”，又“靠近赤道”，这就是为什么随机向量在高维机器学习空间中几乎是正交的原因。🤯 感谢@mutko55提醒我这一点。 #HighDimensionalSpace #MachineLearning

这是我学过的最奇怪的事情之一。🤨😦🤯 我们已经被条件反射地训练成只在一维、二维和三维中思考，以至于我们的直觉基本上就生活在那儿，但一旦你进入高维空间，连距离这样基本的概念也开始以一种感觉不对的方式表现。 在高维球体中，几乎所有的体积都位于靠近边界的薄壳中……稍微缩小半径一点，你就几乎抛弃了所有东西，因此随机点根本不在中间，它们被压缩成边缘的微观光环。 这就是为什么在高维的Machine Learning空间中，距离、最近邻和几何直觉开始表现得如此奇怪的原因之一。高维几何悄悄地告诉你，你的低维大脑在欺骗你。🤯 #HighDimensionalSpace #MachineLearning