Um pequeno jogo que Claude e eu temos jogado recentemente é "Context Window Chicken" Você tem uma janela de contexto para começar e terminar o projeto. Se você ficar sem, terá que recomeçar do zero. Hoje à noite conseguimos um widget de ditado por voz usando o Parakeet-0.6B da Nvidia na tentativa #2
(obviamente isso significa sem subagentes, sem RLMs, sem trapaça! Um único rastreio de 200k.)
@maxsloef não tenho certeza do que acontece exatamente com contagens maiores de tokens. Às vezes parece muito útil ter muito contexto extra, e às vezes há degradação. Ainda estou tentando entender esse comportamento, então não tenho evitado
108