Olet ML Engineerin haastattelussa Netflixissä. Haastattelija kysyy: "Olet kouluttanut uuden suositusmallin. Miten varmistat, että se on valmis korvaamaan vanhan?" Vastaat: "Vertailen validointi- ja testisarjojen mittareita." Haastattelu ohi. Tässä on mitä jäit huomaamatta: Ongelmana on, että vaikka koneoppimismallia testataan tiukasti paikallisesti (validointi- ja testisarjoissa), voi olla kauhea idea korvata edellinen malli välittömästi uudella mallilla. Tämä johtuu siitä, että on vaikea toistaa tarkkaa tuotantoympäristöä ja -olosuhteita paikallisesti ja perustella onnistumista val/testitarkkuudella. Luotettavampi strategia on testata mallia tuotannossa (kyllä, reaalimaailman saapuvilla tiedoilla). Vaikka tämä saattaa kuulostaa riskialttiilta, ML-joukkueet tekevät sitä koko ajan, eikä se ole niin monimutkaista. Muistiinpano: > Vanha malli: Olemassa oleva malli. > Ehdokasmalli: Uusi malli. Tässä on neljä yleistä tapaa tehdä se: 1️⃣ A/B-testaus ...