Você está em uma entrevista de engenheiro de ML na Netflix. O entrevistador pergunta: "Você treinou um novo modelo de recomendação. Como você se certifica de que está pronto para substituir o antigo?" Você responde: "Vou comparar métricas em conjuntos de validação e teste". Entrevista terminada. Aqui está o que você perdeu: O problema é que, apesar de testar rigorosamente um modelo de ML localmente (em conjuntos de validação e teste), pode ser uma péssima ideia substituir instantaneamente o modelo anterior pelo novo modelo. Isso ocorre porque é difícil replicar o ambiente e as condições de produção exatas localmente e justificar o sucesso com precisões de val/teste. Uma estratégia mais confiável é testar o modelo em produção (sim, em dados de entrada do mundo real). Embora isso possa parecer arriscado, as equipes de ML fazem isso o tempo todo, e não é tão complicado. Nota: > Modelo herdado: o modelo existente. > Modelo candidato: o novo modelo. Aqui estão quatro maneiras comuns de fazer isso: 1️⃣ Teste A/B ...