A tokenização é apenas um caso especial de "fragmentação" - construção de dados de baixo nível em abstrações de alto nível - o que, por sua vez, é fundamental para a inteligência. Nossa nova arquitetura, que permite o *agrupamento dinâmico* hierárquico, não é apenas livre de tokens, mas simplesmente escala melhor.
Sukjun (June) Hwang
Sukjun (June) Hwang12 de jul. de 2025
A tokenização tem sido a barreira final para modelos de linguagem verdadeiramente de ponta a ponta. Desenvolvemos a H-Net: uma rede hierárquica que substitui a tokenização por um processo dinâmico de agrupamento diretamente dentro do modelo, descobrindo e operando automaticamente em unidades significativas de dados
Este foi um projeto incrivelmente importante para mim - eu queria resolvê-lo há anos, mas não tinha ideia de como. Tudo isso foi @sukjun_hwang e @fluorane trabalho incrível! Escrevi sobre a história de seu desenvolvimento e o que pode estar por vir. A H-Net:
194,77K