Mesurer l'efficacité de la pensée dans les modèles de raisonnement : le benchmark manquant Nous avons mesuré l'utilisation des tokens à travers les modèles de raisonnement : les modèles ouverts produisent 1,5 à 4 fois plus de tokens que les modèles fermés sur des tâches identiques, mais avec une énorme variance selon le type de tâche (jusqu'à 10 fois sur des questions simples). Ce coût caché annule souvent les avantages de tarification par token. L'efficacité des tokens devrait devenir un objectif principal aux côtés des benchmarks de précision, surtout en tenant compte des cas d'utilisation non liés au raisonnement. Lisez l'examen approfondi de l'efficacité du raisonnement à travers le paysage des modèles ouverts et fermés dans notre dernier article de blog en collaboration avec notre chercheur résident, Tim. Découvrez plus de leurs travaux ici :