Ești într-un interviu ML Engineer la Netflix. Intervievatorul întreabă: "Ați antrenat un nou model de recomandare. Cum te asiguri că este gata să-l înlocuiască pe cel vechi?" Răspundeți: "Voi compara valorile privind seturile de validare și testare". Interviul s-a încheiat. Iată ce ai ratat: Problema este că, în ciuda testării riguroase a unui model ML la nivel local (pe seturi de validare și testare), ar putea fi o idee groaznică să înlocuiți instantaneu modelul anterior cu noul model. Acest lucru se datorează faptului că este dificil să se reproducă mediul și condițiile exacte de producție la nivel local și să se justifice succesul cu precizii val/teste. O strategie mai fiabilă este testarea modelului în producție (da, pe date primite din lumea reală). Deși acest lucru ar putea părea riscant, echipele ML o fac tot timpul și nu este atât de complicat. Notă: > Model moștenit: Modelul existent. > Model candidat: Noul model. Iată patru moduri comune de a face acest lucru: 1️⃣ Testare A/B ...