0G huấn luyện LLM phân tán lớn nhất từ trước đến nay - Hơn 100B tham số!! Đột phá mới nhất của 0G chứng minh rằng các LLM với hơn 100B tham số có thể được huấn luyện trên các cụm phân tán ngay cả khi internet chậm. Điều này phá vỡ huyền thoại rằng các mô hình AI khổng lồ cần các siêu máy tính tập trung, và mở ra cánh cửa cho một kỷ nguyên mới của AI mở, chi phí thấp và có thể tiếp cận toàn cầu. Hệ thống hạ tầng dữ liệu phân tán của 0G là xương sống, cho phép AI có thể mở rộng, riêng tư và chống kiểm duyệt cho mọi người. Tóm tắt: → DiLoCoX giải quyết vấn đề phối hợp tính toán. → 0G giải quyết vấn đề truy cập dữ liệu, quyền sở hữu và khả năng sẵn có. → Cùng nhau, chúng ta mở khóa tương lai của AI thực sự phân tán và mở. Tại sao đây là một đột phá quan trọng? Việc huấn luyện các mô hình khổng lồ truyền thống (như GPT-3) phụ thuộc vào các cụm GPU tập trung, tốc độ cao với các kết nối siêu nhanh (ví dụ: NVIDIA NVLink, Infiniband). Điều đó tốn kém, tập trung và giới hạn cho một vài người chơi (OpenAI, Google, Meta, v.v.). DiLoCoX chứng minh rằng giờ đây có thể huấn luyện các mô hình với hơn 100B tham số trên các cụm phân tán chỉ với băng thông 1Gbps; loại thiết lập có sẵn cho hầu hết các phòng thí nghiệm nghiên cứu hoặc mạng cộng đồng. Tương lai của AI đã đến! 0G Labs FTW