Was ist das eigentlich für ein günstiges, großes Modell? Taktische Rücklage. Die frohe Botschaft für die lokale Bereitstellung großer Modelle ist da! Ich bringe euch die technische Analyse des gerade veröffentlichten Kimi-Linear-48B-A3B von Moon's Dark Side! Zuerst die Kurzversion – das ist das günstige, große Fast-Food-Modell. Das Niveau von 48B-A3B erreicht 1M Kontext und verwendet dabei lineare Aufmerksamkeit, was sehr speichersparend ist. Der Speicherverbrauch, der durch die Zunahme der Kontextlänge bei traditioneller Aufmerksamkeit entsteht, ist exponentiell, während dieser linear ist, sodass dieses Modell sogar auf der CPU problemlos läuft. Ich lade es bereits herunter und bereite mich darauf vor, es in meine lokal verwendeten Modelle aufzunehmen. Die größte Ungewissheit besteht derzeit darin, dass ich nicht weiß, wie gut die Rückrufrate ist. Ich plane, es herunterzuladen und ein paar Romane einzufügen, um die Details der Romane zu fragen und zu sehen, wie das Modell darauf reagiert, um die Rückrufleistung zu bewerten. Alle, die die Ergebnisse sehen möchten, bitte liken, über 100 Likes und ich werde am Wochenende die Bewertung veröffentlichen.