¿Qué se considera un modelo barato y grande? Estrategia de retroceso. ¡La buena noticia de implementar grandes modelos localmente ha llegado! ¡Les traigo un análisis técnico del Kimi-Linear-48B-A3B que acaba de ser lanzado por la cara oculta de la luna! Primero, una versión en una frase: este es el modelo de comida rápida barato y grande. El 48B-A3B ha logrado un contexto de alrededor de 1M, y además utiliza atención lineal, lo que ahorra mucha memoria. El consumo de memoria que resulta del aumento de la longitud del contexto en la atención tradicional es exponencial, mientras que este es lineal, por lo que este modelo puede funcionar incluso en CPU. Ya lo estoy descargando, listo para añadirlo a mis modelos locales de uso frecuente. La mayor incertidumbre en este momento es no saber cómo será el nivel de recuperación. Estoy preparando descargarlo para introducirle algunas novelas y preguntar sobre los detalles de las novelas para ver cómo responde el modelo y evaluar el efecto de recuperación. Aquellos que quieran ver los resultados, por favor denle like, si superamos los 100, les compartiré la evaluación este fin de semana.