1/10🧵 @nousresearch ha recentemente pubblicato uno studio interessante che mostra come i modelli aperti utilizzino da 2 a 3 volte più token rispetto ai modelli chiusi per i compiti di ragionamento. Abbiamo testato se l'allocazione dinamica dei token potesse aiutare a colmare questo divario di efficienza. Ecco cosa abbiamo imparato 👇

Misurare l'Efficienza del Pensiero nei Modelli di Ragionamento: Il Benchmark Mancante Abbiamo misurato l'uso dei token nei modelli di ragionamento: i modelli aperti producono da 1,5 a 4 volte più token rispetto ai modelli chiusi su compiti identici, ma con una grande variabilità a seconda del tipo di compito (fino a 10 volte su domande semplici). Questo costo nascosto spesso annulla i vantaggi dei prezzi per token. L'efficienza dei token dovrebbe diventare un obiettivo primario insieme ai benchmark di accuratezza, specialmente considerando i casi d'uso non legati al ragionamento. Leggi la recensione approfondita dell'efficienza del ragionamento attraverso il panorama dei modelli aperti e chiusi nel nostro ultimo post sul blog in collaborazione con il nostro ricercatore residente, Tim. Scopri di più sul loro lavoro qui:

Ciao! kainan_e ti ha invitato a unirti al loro gruppo DM. L'invito scade tra 24 ore.

L'ambiente di valutazione Arena-Hard è ora integrato in Atropos - goditi una valutazione scalabile, flessibile e moderna con il benchmark arena-hard di @lmsysorg, che è molto efficace nel determinare una vasta gamma di capacità nei modelli. Pronto per essere un ambiente RL se porti il tuo set di addestramento! :) Scopri di più su

Il nostro Ricercatore in Residenza @yaboilyrical discuterà del suo lavoro sulla guida SMC all'UC Berkeley il 3 agosto. Dai un'occhiata al blog su questo lavoro qui: Dettagli qui sotto!

L'orario di apertura dell'ufficio Psyche inizia tra 20 minuti nel nostro Discord - Ci vediamo lì!

Atropos v0.3 è ora disponibile! Il nostro framework per ambienti RL ha visto molti aggiornamenti dalla v0.2 - alcuni punti salienti: - Atropos può ora essere utilizzato come framework di benchmarking e valutazioni da @rogershijin, con il nostro primo benchmark esterno, Reward-Bench 2! - Aggiunto il Reasoning Gym, un repository di ambienti esterni portato in Atropos con oltre 100 compiti di ragionamento da @neurosp1ke e amici. - @max_paperclips ha integrato il bootcamp di ragionamento di @intern_lm, aggiungendo oltre 1000 nuovi compiti di ragionamento per RL. - @dmayhem93, l'ingegnere capo di Atropos, ha aggiunto dozzine di correzioni di bug e altri miglioramenti di affidabilità e compatibilità, un migliore supporto per ambienti multipli e CI/CD. - Molti degli ambienti hackathon di Atropos sono stati fusi in /environments/community - elencarli tutti occuperebbe gran parte dello spazio dello schermo, ma alcuni punti salienti: VR-CLI di @JakeABoggs, Filosofia RLAIF, Insegnanti LLM Adattivi, WebVoyager, progettazione di proteine da @hallerite, un ambiente di routing dei modelli di @gabinfay, prove lean multiple, l'arena catbot, pokemon showdown, poker, dottori utili, poesia sanscrita di @khoomeik e molto altro! - Altri nuovi ambienti ufficialmente supportati includono: Formato di risposta seguente ambiente Ambiente Pydantic a JSON portato dal lavoro di @MatternJustus Seguire le istruzioni portato dal lavoro di @natolambert e @allen_ai Conteggio lettere - 47 nuovi collaboratori! Controlla il changelog completo qui:

Set di dati Hermes 3, arte alternativa.

Una buona tecnologia genera esplorazione e meraviglia.

Strumenti open source per le sfide umane.