Andrej Karpathy ehdotti radikaalia ajatusta: kaikkien LLM-syötteiden tulisi olla kuvia, myös pelkkää tekstiä. Mitä tarkoitat? Perinteiset suuret kielimallit: Tekstin → tokenisointi → LLM → tulos Andrejin visio: Teksti → renderöidään kuviksi → LLM → -tulosteen avulla Vaikka haluaisit syöttää pelkkää tekstiä, muodosta se kuvana ja syötä se malliin. Miksi tehdä näin? Hän antoi 4 syytä: 1. Tietojen pakkaus on tehokkaampaa Juuri tämän DeepSeek-OCR todistaa. Yksisivuisessa asiakirjassa perinteinen menetelmä voi vaatia 2 000 tekstimerkkiä ja visiotunnus vain 64. Puristussuhde 30 kertaa. Tekstimerkit ovat tuhlaavia, kuvamerkit ovat tiheämpiä. 2. Monipuolisempi Tekstimerkit voivat ilmaista vain sanoja. Mutta tosielämän tieto on muutakin kuin pelkkiä sanoja: - Lihavoitu, kursivointi - Värillinen teksti - Taulukot, kaaviot - Mielivaltaiset kuvat Kaikki renderöidään kuvasyötteinä, ja malli pystyy käsittelemään niitä luonnollisesti. ...