Bạn đang tham gia phỏng vấn Kỹ sư ML tại Netflix. Người phỏng vấn hỏi: "Bạn đã đào tạo một mô hình gợi ý mới. Làm thế nào để bạn đảm bảo rằng nó sẵn sàng thay thế mô hình cũ?" Bạn trả lời: "Tôi sẽ so sánh các chỉ số trên tập xác thực và tập kiểm tra." Phỏng vấn kết thúc. Dưới đây là những gì bạn đã bỏ lỡ: Vấn đề là, mặc dù đã kiểm tra nghiêm ngặt một mô hình ML tại chỗ (trên các tập xác thực và kiểm tra), nhưng có thể là một ý tưởng tồi tệ khi ngay lập tức thay thế mô hình trước đó bằng mô hình mới. Điều này là vì rất khó để tái tạo chính xác môi trường và điều kiện sản xuất tại chỗ, và biện minh cho thành công với độ chính xác của val/test. Một chiến lược đáng tin cậy hơn là thử nghiệm mô hình trong môi trường sản xuất (vâng, trên dữ liệu thực tế đến). Mặc dù điều này có thể nghe có vẻ rủi ro, nhưng các đội ML thường làm điều này, và nó không quá phức tạp. Lưu ý: > Mô hình kế thừa: Mô hình hiện có. > Mô hình ứng cử viên: Mô hình mới. Dưới đây là bốn cách phổ biến để thực hiện điều đó: 1️⃣ Kiểm tra A/B ...