Tokenisointi on vain erikoistapaus "paloittelusta" - matalan tason datan rakentamisesta korkean tason abstraktioiksi - mikä puolestaan on älykkyyden perusta. Uusi arkkitehtuurimme, joka mahdollistaa hierarkkisen *dynaamisen paloittelun*, ei ole vain tokenisoijavapaa, vaan se yksinkertaisesti skaalautuu paremmin.
Sukjun (June) Hwang
Sukjun (June) Hwang12.7.2025
Tokenisointi on ollut viimeinen este aidosti päästä päähän -kielimalleille. Kehitimme H-Netin: hierarkkisen verkon, joka korvaa tokenisoinnin dynaamisella palointiprosessilla suoraan mallin sisällä, löytäen ja toimien automaattisesti merkityksellisten tietoyksiköiden päällä
Tämä oli minulle uskomattoman tärkeä projekti - olen halunnut ratkaista sen vuosia, mutta minulla ei ollut aavistustakaan, miten. Tämä kaikki oli @sukjun_hwang ja @fluorane hämmästyttävää työtä! Kirjoitin sen kehitystarinasta ja siitä, mitä voisi olla tulossa seuraavaksi. The H-Net:
194,77K