LLM 優化,常用技巧是壓縮,有兩個相反操作路徑。 1, 對輸入進行壓縮,常見於旗艦級模型,用概念替代大段描述;李繼剛“神級 prompt”是典範,"Oscar Wilde" "魯迅" "林語堂"替代行文風格;難度在於對概念的抽象理解和積累,並且需要反覆嘗試,跨模型適配差; 2. 對輸出進行壓縮,適用於所有模型,尤見於 agentic 產品,用精準封裝的 tools 替代 agent 完整執行任務;難度在於 tools 尺度的選擇,太少沒效果,太多又會佔據注意力,導致效果劣化,考驗設計哲學;
10.74K