La tokenizzazione è solo un caso speciale di "chunking" - la costruzione di dati di basso livello in astrazioni di alto livello - che è a sua volta fondamentale per l'intelligenza. La nostra nuova architettura, che consente la suddivisione gerarchica in blocchi dinamici, non solo è priva di tokenizzatore, ma semplicemente si adatta meglio.

Questo è stato un progetto incredibilmente importante per me: volevo risolverlo da anni, ma non avevo idea di come. Tutto questo è stato @sukjun_hwang e @fluorane un lavoro straordinario! Ho scritto della storia del suo sviluppo e di ciò che potrebbe accadere dopo. La rete H: