أنت في مقابلة مع ML Engineer في Netflix. يسأل المحاور: "لقد دربت نموذجا جديدا للتوصية. كيف تتأكد من أنها جاهزة لاستبدال القديمة؟ أنت ترد: "سأقارن مقاييس التحقق من الصحة ومجموعات الاختبار". انتهت المقابلة. إليك ما فاتك: تكمن المشكلة في أنه على الرغم من الاختبار الصارم لنموذج ML محليا (على مجموعات التحقق من الصحة والاختبار) ، فقد يكون من الجيد استبدال النموذج السابق على الفور بالنموذج الجديد. هذا لأنه من الصعب تكرار بيئة الإنتاج والظروف الدقيقة محليا ، وتبرير النجاح بدقة val / test. تتمثل الإستراتيجية الأكثر موثوقية في اختبار النموذج في الإنتاج (نعم ، على البيانات الواردة في العالم الحقيقي). في حين أن هذا قد يبدو محفوفا بالمخاطر ، إلا أن فرق ML تفعل ذلك طوال الوقت ، وهو ليس بهذه التعقيد. ملاحظه: > النموذج القديم: النموذج الحالي. نموذج > المرشح: النموذج الجديد. فيما يلي أربع طرق شائعة للقيام بذلك: 1️⃣ اختبار A / B ...