Messung der Denk-Effizienz in Modellierungsansätzen: Der fehlende Benchmark Wir haben die Token-Nutzung über verschiedene Modellierungsansätze hinweg gemessen: Offene Modelle geben 1,5-4x mehr Tokens aus als geschlossene Modelle bei identischen Aufgaben, jedoch mit einer enormen Varianz je nach Aufgabentyp (bis zu 10x bei einfachen Fragen). Diese versteckten Kosten negieren oft die Preisvorteile pro Token. Die Token-Effizienz sollte neben den Genauigkeitsbenchmarks ein primäres Ziel werden, insbesondere in Anbetracht von Nicht-Denk-Anwendungsfällen. Lesen Sie die ausführliche Überprüfung der Denk-Effizienz über die Landschaft offener und geschlossener Modelle in unserem neuesten Blogbeitrag in Zusammenarbeit mit unserem Forscher in Residence, Tim. Sehen Sie hier mehr von ihrer Arbeit:

Hallo! kainan_e hat dich eingeladen, ihrer Gruppen-DM beizutreten. Die Einladung läuft in 24 Stunden ab.

Die Arena-Hard-Bewertungsumgebung ist jetzt mit Atropos zusammengeführt - genießen Sie skalierbare, flexible und moderne Bewertungen mit dem Arena-Hard-Benchmark von @lmsysorg, der hervorragend darin ist, eine Vielzahl von Fähigkeiten in Modellen zu bestimmen. Bereit, eine RL-Umgebung zu sein, wenn Sie Ihr eigenes Trainingsset mitbringen :) Erfahren Sie mehr unter

Unser Forscher in Residence @yaboilyrical wird am 3. August seine Arbeit zur SMC-Steuerung an der UC Berkeley diskutieren. Hier finden Sie den Blog zu dieser Arbeit: Details unten!

Die Bürozeiten von Psyche beginnen in 20 Minuten in unserem Discord - Bis gleich!

Atropos v0.3 ist jetzt verfügbar! Unser RL Environments-Framework hat seit v0.2 viele Verbesserungen erfahren - einige Highlights: - Atropos kann jetzt von @rogershijin als Benchmarking- und Evaluierungs-Framework verwendet werden, mit unserem ersten externen Benchmark, Reward-Bench 2! - Hinzugefügt wurde das Reasoning Gym, ein externes Umgebungs-Gym-Repo, das in Atropos portiert wurde und über 100 Denkaufgaben von @neurosp1ke und Freunden enthält. - @max_paperclips hat das Reasoning Bootcamp von @intern_lm integriert und über 1000 neue Denkaufgaben für RL hinzugefügt. - @dmayhem93, der leitende Ingenieur von Atropos, hat Dutzende von Bugfixes und andere Verbesserungen der Zuverlässigkeit und Kompatibilität hinzugefügt, bessere Unterstützung für mehrere Umgebungen und CI/CD. - Viele der Atropos-Hackathon-Umgebungen wurden in /environments/community zusammengeführt - sie alle aufzulisten würde den meisten Platz auf dem Bildschirm einnehmen, aber einige Highlights sind: VR-CLI von @JakeABoggs, Philosophy RLAIF, Adaptive LLM Teachers, WebVoyager, Protein-Design von @hallerite, eine Modell-Routing-Umgebung von @gabinfay, mehrere auf Lean-Proving, die Catbot-Arena, Pokémon Showdown, Poker, hilfreiche Ärzte, Sanskrit-Poesie von @khoomeik und so viel mehr! - Weitere bemerkenswerte offiziell unterstützte neue Umgebungen sind: Antwortformat folgende Umgebung Pydantic zu JSON-Umgebung, portiert von @MatternJustus' Arbeit Instruction Following, portiert von @natolambert und @allen_ai's Arbeit Buchstaben zählen - 47 brandneue Mitwirkende! Siehe das vollständige Änderungsprotokoll hier:

Hermes 3 Datensatz, alternative Kunst.

Gute Technologie bringt Erkundung und Wunder hervor.

Open-Source-Tools für menschliche Herausforderungen.

Es hat Spaß gemacht, mit dem @huggingface Team zusammenzuarbeiten, um dieses Feature Wirklichkeit werden zu lassen! Vielen Dank für all Ihre Arbeit und Kreativität @pcuenq @reach_vb @julien_c @ariG23498 ! Vielen Dank auch an @NousResearch @Teknium1 @Euclaise_, dass Sie als Early Adopters von benutzerdefinierten Notizbüchern gearbeitet haben und mit uns daran gearbeitet haben!