Você está em uma entrevista para Engenheiro de ML na Netflix. O entrevistador pergunta: "Você treinou um novo modelo de recomendação. Como você garante que ele está pronto para substituir o antigo?" Você responde: "Vou comparar métricas em conjuntos de validação e teste." Entrevista encerrada. Aqui está o que você perdeu: O problema é que, apesar de testar rigorosamente um modelo de ML localmente (em conjuntos de validação e teste), pode ser uma péssima ideia substituir instantaneamente o modelo anterior pelo novo modelo. Isso porque é difícil replicar o exato ambiente e condições de produção localmente e justificar o sucesso com as precisões de val/teste. Uma estratégia mais confiável é testar o modelo em produção (sim, com dados reais que estão chegando). Embora isso possa parecer arriscado, as equipes de ML fazem isso o tempo todo, e não é tão complicado. Nota: > Modelo legado: O modelo existente. > Modelo candidato: O novo modelo. Aqui estão quatro maneiras comuns de fazer isso: 1️⃣ Teste A/B ...