Google 剛剛發布了一份關於多代理系統有效上下文工程的精彩指南。 AI 開發者們,請注意這一點!(記下來) 以下是我的主要收穫: 上下文窗口不是瓶頸。上下文工程才是。 對於更複雜和長期的問題,上下文管理不能被視為一個簡單的「字符串操作」問題。 目前在代理系統中處理上下文的默認方法仍然是將所有內容塞入提示中。更多的歷史,更多的標記,更多的混淆。大多數團隊將上下文視為字符串串接問題。 但原始上下文轉儲會造成三個關鍵失敗: > 重複信息導致的成本爆炸 > 由於「迷失在中間」效應導致的性能下降 > 當代理錯誤地將行為歸因於系統時,幻覺率上升 上下文管理成為與存儲和計算並列的架構問題。這意味著顯式轉換取代了臨時的字符串串接。代理默認接收所需的最小上下文,並通過工具顯式請求額外信息。 看起來 Google 的代理開發工具包確實在深入思考上下文管理。它引入了一種分層架構,將上下文視為「狀態系統的編譯視圖」,而不是提示填充活動。 這看起來是什麼樣的? 1) 結構:分層模型 該框架在四個不同的層次上分離存儲和展示: 1) 工作上下文處理每次調用的短暫視圖。 2) 會話維護持久的事件日誌,捕捉每條消息、工具調用和控制信號。...