Sei in un colloquio per un ingegnere ML presso Netflix. L'intervistatore chiede: "Hai addestrato un nuovo modello di raccomandazione. Come fai a essere sicuro che sia pronto a sostituire il vecchio?" Tu rispondi: "Confronterò le metriche sui set di validazione e test." Colloquio finito. Ecco cosa ti sei perso: Il problema è che, nonostante si testino rigorosamente i modelli ML localmente (sui set di validazione e test), potrebbe essere una pessima idea sostituire immediatamente il modello precedente con il nuovo modello. Questo perché è difficile replicare esattamente l'ambiente e le condizioni di produzione localmente e giustificare il successo con le accuratezze di validazione/test. Una strategia più affidabile è testare il modello in produzione (sì, su dati reali in arrivo). Anche se potrebbe sembrare rischioso, i team ML lo fanno tutto il tempo, e non è così complicato. Nota: > Modello legacy: Il modello esistente. > Modello candidato: Il nuovo modello. Ecco quattro modi comuni per farlo: 1️⃣ Test A/B ...