A tokenização tem sido a barreira final para modelos de linguagem verdadeiramente de ponta a ponta. Desenvolvemos o H-Net: uma rede hierárquica que substitui a tokenização por um processo de fragmentação dinâmica diretamente dentro do modelo, descobrindo e operando automaticamente sobre unidades significativas de dados.

Estamos incrivelmente entusiasmados em ver como os H-Nets permitirão que os modelos aprendam de forma mais eficiente, com menos priores e pré-processamento, em todos os tipos de modalidades! Este trabalho foi uma colaboração com @cartesia_ai 10/10