Sau khi thấy rằng các quả cầu đơn vị nhiều chiều ẩn hầu như toàn bộ thể tích của chúng trong một lớp mỏng, đây là một phần tiếp theo điên rồ hơn: Một phân phối Gaussian nhiều chiều không phải là một chiếc chuông ấm áp với khối lượng được ôm ấp ở đỉnh, mà về cơ bản là trống rỗng ở giữa, với hầu như toàn bộ xác suất sống trong một vầng hào quang mỏng ở trên sườn cách gốc khoảng "căn bậc hai của chiều". Điều đó có nghĩa là một mẫu "điển hình" từ một phân phối Gaussian trăm chiều không ở gần trung bình! 🤯 Nó nằm trên vòng đai này nơi mà mật độ thấp hơn nhưng thể tích thì khổng lồ. Được hiểu trong đời thực, điều đó thật lớn: khi bạn khởi tạo một mạng nơ-ron lớn với trọng số Gaussian, hầu hết các mạng bạn nhận được có độ chuẩn trọng số tổng thể tương tự nhau, tất cả đều nằm trên lớp này, vì vậy việc huấn luyện diễn ra trên một vòng năng lượng mỏng thay vì gần bằng không. #HighDimensionalSpace #MachineLearning #Gaussian

Trong bài viết trước, chúng ta đã thấy rằng, trong không gian nhiều chiều, hầu hết thể tích của một quả cầu đơn vị nằm trong một lớp mỏng như dao cạo gần rìa. Nhưng còn một điều thú vị khác! 😄 Hầu hết các điểm cũng nằm trong một lớp trung tâm hẹp xung quanh bất kỳ hướng cố định nào. Vì vậy, một điểm "điển hình" thì xa gốc tọa độ về tổng thể, nhưng tọa độ của nó theo bất kỳ trục nào lại rất nhỏ. Các điểm trong không gian nhiều chiều vừa "trên bề mặt" vừa "gần xích đạo", đó là lý do tại sao các vectơ ngẫu nhiên gần như vuông góc trong các không gian học máy nhiều chiều. 🤯 Cảm ơn @mutko55 đã nhắc nhở tôi về điều này. #HighDimensionalSpace #MachineLearning

Đây là một trong những điều kỳ lạ nhất mà tôi từng học.🤨😦🤯 Chúng ta đã được điều kiện hóa để nghĩ trong 1, 2 và 3 chiều đến nỗi trực giác của chúng ta hầu như chỉ sống ở đó, nhưng một khi bạn bước vào không gian nhiều chiều, ngay cả những điều cơ bản như khoảng cách cũng bắt đầu hành xử theo cách mà cảm thấy sai. Trong một quả cầu nhiều chiều, hầu hết thể tích nằm trong một lớp mỏng gần rìa... thu nhỏ bán kính chỉ một chút và bạn đã vứt bỏ gần như mọi thứ, vì vậy các điểm ngẫu nhiên không ngồi ở giữa chút nào, chúng bị nén vào một vầng hào quang vi mô ở rìa. Đó là một trong những lý do mà khoảng cách, hàng xóm gần nhất và trực giác hình học bắt đầu hành động kỳ lạ trong không gian Machine Learning nhiều chiều. Hình học nhiều chiều đang âm thầm nói với bạn rằng bộ não ít chiều của bạn đang nói dối bạn. 🤯 #HighDimensionalSpace #MachineLearning