Що таке дешева модель з великою чашею, тактична задом наперед. Хороші новини про локальне розгортання великих моделей вже тут! Пропонуємо вам технічний аналіз нещодавно випущеного Kimi-Linear-48B-A3B на темній стороні Місяця! Почнемо з варіанту речення - це дешева модель швидкого харчування з великою чашею. 48B-A3B досягає 1М контексту, а потім лінійної уваги, що дуже економить пам'ять. Споживання пам'яті, викликане зростанням традиційної довжини контексту уваги, експоненціальне, що є лінійним, тому ця модель добре підходить для центрального процесора. Я вже завантажую його і готуюся додати до своєї локальної загальної моделі. Найбільша невизначеність на даний момент полягає в тому, що я не знаю, який рівень запам'ятовування, я збираюся завантажити його і наповнити кількома романами, запитати деталі роману і подивитися, як модель відповідає, щоб оцінити ефект пригадування. Якщо ви хочете побачити результати, будь ласка, поставте лайк, і більше 100 випустять для вас оцінку на вихідних.