Qu'est-ce que c'est qu'un modèle bon marché et efficace ? Tactique de recul. La bonne nouvelle pour le déploiement local de grands modèles est arrivée ! Je vous présente l'analyse technique du Kimi-Linear-48B-A3B, fraîchement publié par Moon's Dark Side ! Pour résumer en une phrase : c'est vraiment un modèle de restauration rapide bon marché et efficace. Le 48B-A3B atteint un contexte d'environ 1M, et utilise une attention linéaire, ce qui économise beaucoup de mémoire. La consommation de mémoire due à l'augmentation de la longueur du contexte avec l'attention traditionnelle est exponentielle, alors que celle-ci est linéaire, donc ce modèle fonctionne même sur CPU. Je suis déjà en train de le télécharger, prêt à l'ajouter à mes modèles locaux habituels. L'incertitude la plus grande pour l'instant est de ne pas savoir quel est le niveau de rappel. Je prévois de le télécharger et de lui poser quelques romans pour voir comment il répond aux détails des romans afin d'évaluer l'efficacité du rappel. Ceux qui veulent voir les résultats, n'hésitez pas à liker, si on dépasse 100, je publierai l'évaluation ce week-end.