Mọi người đều bị ám ảnh bởi những gã khổng lồ: Những vị thần đám mây với hàng triệu tỷ tham số mà chúng ta gọi là LLMs. Nhưng có điều gì đó kỳ lạ hơn đang xảy ra trong bóng tối. Hiệu Quả Không Thể Tin Nổi của Các Mô Hình AI Nhỏ 🧵 🪡 1/6

Các Mô Hình Ngôn Ngữ Nhỏ (SLMs) chạy cục bộ, ngoại tuyến và miễn phí. Chúng vừa vặn trên một ổ đĩa flash, tiêu thụ ít điện và có thể vượt trội hơn GPT-3 — mô hình đã khởi đầu kỷ nguyên này — với kích thước chỉ bằng 1/175. 2/6

LLaMA 3.2 (1B tham số) đạt 53.9% trên MMLU — cao hơn GPT-3 và bạn có thể chạy nó trên một Raspberry Pi giá $100. Cho nó một thư viện tham khảo nhỏ (RAG), và nó lại cải thiện hơn nữa. Bạn đang nhìn vào một trí tuệ có trình độ đại học mà vừa vặn trên một ổ USB. 4/6