Vous êtes en entretien pour un poste d'ingénieur ML chez Netflix. L'intervieweur demande : "Vous avez entraîné un nouveau modèle de recommandation. Comment vous assurez-vous qu'il est prêt à remplacer l'ancien ?" Vous répondez : "Je vais comparer les métriques sur les ensembles de validation et de test." Entretien terminé. Voici ce que vous avez manqué : Le problème est que, malgré des tests rigoureux d'un modèle ML localement (sur les ensembles de validation et de test), il pourrait être une très mauvaise idée de remplacer instantanément l'ancien modèle par le nouveau modèle. Cela est dû au fait qu'il est difficile de reproduire exactement l'environnement et les conditions de production localement, et de justifier le succès avec les précisions de validation/test. Une stratégie plus fiable consiste à tester le modèle en production (oui, sur des données réelles entrantes). Bien que cela puisse sembler risqué, les équipes ML le font tout le temps, et ce n'est pas si compliqué. Remarque : > Modèle hérité : Le modèle existant. > Modèle candidat : Le nouveau modèle. Voici quatre façons courantes de le faire : 1️⃣ Test A/B ...