Je bent in een ML Engineer sollicitatiegesprek bij Netflix. De interviewer vraagt: "Je hebt een nieuw aanbevelingsmodel getraind. Hoe zorg je ervoor dat het klaar is om het oude model te vervangen?" Je antwoordt: "Ik zal de metrics op validatie- en testsets vergelijken." Interview voorbij. Dit is wat je gemist hebt: Het probleem is dat, ondanks dat je een ML-model lokaal (op validatie- en testsets) grondig test, het een vreselijk idee kan zijn om het vorige model onmiddellijk te vervangen door het nieuwe model. Dit komt omdat het moeilijk is om de exacte productieomgeving en -omstandigheden lokaal te repliceren en succes te rechtvaardigen met val/test nauwkeurigheden. Een betrouwbaardere strategie is om het model in productie te testen (ja, op echte binnenkomende gegevens). Hoewel dit riskant kan klinken, doen ML-teams het de hele tijd, en het is niet zo ingewikkeld. Opmerking: > Legacy model: Het bestaande model. > Candidate model: Het nieuwe model. Hier zijn vier veelvoorkomende manieren om dit te doen: 1️⃣ A/B-testen ...