Mọi người đang ngủ quên trước tài liệu mới này từ AWS. Một mô hình nhỏ hơn 100 lần so với GPT và Claude đã vượt trội hơn họ trong việc gọi công cụ. Các nhà nghiên cứu của AWS đã lấy OPT-350M của Facebook, một mô hình từ năm 2022 với 500 lần ít tham số hơn GPT, và tinh chỉnh nó trên ToolBench trong một epoch duy nhất. Kết quả thật ấn tượng: ↳ Tỷ lệ vượt qua của SLM của họ: 77.55% ↳ ChatGPT-CoT: 26% ↳ ToolLLaMA: 30% ↳ Claude-CoT: 2.73% Đây là những gì đang diễn ra: Các mô hình lớn gặp phải "sự pha loãng tham số." Hầu hết khả năng của chúng được tối ưu hóa cho các nhiệm vụ ngôn ngữ chung, không phải các mẫu Nhập liệu Hành động-Suy nghĩ-Hành động chính xác mà việc gọi công cụ cần. Một mô hình nhỏ được đào tạo đặc biệt cho việc gọi công cụ tập trung toàn bộ khả năng của nó vào một việc duy nhất. Không có sự phân tâm. Cài đặt đào tạo thật sự đơn giản. Hugging Face TRL, 187K ví dụ, tốc độ học 5e-5, và cắt gradient mạnh mẽ để đảm bảo tính ổn định. Nhưng tôi muốn làm rõ một điều: Điều này không có nghĩa là các mô hình nhỏ thắng ở mọi nơi. Các tác giả thừa nhận mô hình của họ có thể gặp khó khăn với các sắc thái ngữ cảnh phức tạp hoặc các yêu cầu mơ hồ. Nó là một chuyên gia, không phải là một người tổng quát. Tuy nhiên, nếu bạn đang xây dựng các hệ thống có tính tác động và muốn giảm chi phí suy diễn xuống nhiều bậc, điều này đáng để chú ý. Tôi đã chia sẻ liên kết đến tài liệu trong tweet tiếp theo.