什麼才叫便宜大碗模型啊，戰術後仰。 本地部署大模型的福音來了！給大家帶來月之暗面剛發佈的 Kimi-Linear-48B-A3B 的技術解析！ 先來一句話版本——這才是便宜大碗快餐模型。 48B-A3B 這個水平做到了1M上下文，然後還是線性注意力，非常省內存。傳統注意力上下文長度增長帶來的內存消耗是指數級的，這個是線性的，所以這個模型在CPU跑都沒事。我已經正在下載了，準備加入本地常用模型中。 目前最大的不確定性是不知道召回水平咋樣，我準備下載下來給它塞幾本小說問問小說細節看看模型回答的咋樣來評估召回效果。想看結果的各位精神股東請點贊，超過100給大家週末放出測評。