O Keras agora permite quantizar modelos com apenas uma linha de código! Você pode quantizar seus próprios modelos ou qualquer modelo pré-treinado obtido do KerasHub. Basta executar model.quantize(quantization_mode). Suporta quantização para modos int4, int8, float8 e GPTQ.

Você está em uma entrevista para Engenheiro de ML na Stripe. O entrevistador pergunta: "As pessoas frequentemente contestam transações que realmente realizaram. Como construir um modelo supervisionado que preveja disputas falsas? Não há dados rotulados." Você: "Vou sinalizar cartões com altas taxas de disputa." Entrevista encerrada. Aqui está o que você perdeu: O aprendizado ativo é uma maneira relativamente fácil e barata de construir modelos supervisionados quando você não tem dados anotados para começar. Como o nome sugere, a ideia é construir o modelo com feedback humano ativo sobre exemplos com os quais ele está tendo dificuldades. A visualização abaixo resume isso. 1) Comece rotulando manualmente uma pequena porcentagem dos seus dados. 2) Construa um modelo com esse pequeno conjunto de dados rotulados. Este não será um bom modelo, mas tudo bem. 3) Em seguida, gere previsões no conjunto de dados que você não rotulou. Como o conjunto de dados não está rotulado, não podemos determinar se essas previsões estão corretas. É por isso que treinamos um modelo que pode fornecer implicitamente ou explicitamente um nível de confiança com suas previsões. Modelos probabilísticos são uma boa opção, pois é possível determinar um proxy para o nível de confiança a partir de saídas probabilísticas, como a diferença entre a 1ª e a 2ª maiores probabilidades. 4) Após gerar a confiança, classifique todas as previsões em ordem de confiança. 5) Forneça um rótulo humano para as previsões de baixa confiança e alimente-o de volta ao modelo com o conjunto de dados inicial. Não faz sentido rotular previsões nas quais o modelo já está confiante. 6) Repita o processo algumas vezes (treinar → gerar previsões e confiança → rotular previsões de baixa confiança) e pare quando estiver satisfeito com o desempenho. O aprendizado ativo é uma grande economia de tempo na construção de modelos supervisionados em conjuntos de dados não rotulados. A única coisa com a qual você deve ter cuidado é gerar medidas de confiança. Se você errar isso, afetará cada etapa de treinamento subsequente. Além disso, ao combinar os dados de baixa confiança com os dados iniciais, podemos usar os dados de alta confiança. Os rótulos seriam as previsões do modelo. Essa variante de aprendizado ativo é chamada de aprendizado cooperativo. 👉 Agora é com você: Você já usou aprendizado ativo antes?

Uma ótima ferramenta para estimar quanto VRAM os seus LLMs realmente precisam. Altere a configuração de hardware, quantização, etc., e ela informa sobre: - Velocidade de geração (tokens/segundo) - Alocação de memória precisa - Throughput do sistema, etc. Chega de adivinhações sobre VRAM!