Du er i et ML Engineer-intervju på Netflix. Intervjueren spør: «Du har trent opp en ny anbefalingsmodell. Hvordan sørger du for at den er klar til å erstatte den gamle?" Du svarer: «Jeg skal sammenligne beregninger for validering og testsett.» Intervjuet er over. Her er hva du gikk glipp av: Problemet er at til tross for grundig testing av en ML-modell lokalt (på validering og testsett), kan det være en forferdelig idé å umiddelbart erstatte den forrige modellen med den nye modellen. Dette er fordi det er vanskelig å gjenskape det eksakte produksjonsmiljøet og forholdene lokalt, og rettferdiggjøre suksess med val/test-nøyaktigheter. En mer pålitelig strategi er å teste modellen i produksjon (ja, på virkelige innkommende data). Selv om dette kan høres risikabelt ut, gjør ML-lag det hele tiden, og det er ikke så komplisert. Notat: > eldre modell: Den eksisterende modellen. > Kandidatmodell: Den nye modellen. Her er fire vanlige måter å gjøre det på: 1️⃣ A/B-testing ...