Meta 的研究人員建立了一種新的 RAG 方法，該方法： - 在 16 個 RAG 基準測試中超越 LLaMA。 - 擁有 30.85 倍更快的首次標記時間。 - 處理 16 倍更大的上下文窗口。 - 並且使用 2-4 倍更少的標記。 這裡是 Meta 解決的典型 RAG 設置的核心問題： 在 RAG 設置中，我們檢索的大部分內容實際上對 LLM 沒有幫助。 在經典的 RAG 中，當查詢到達時： - 你將其編碼為一個向量。 - 從向量數據庫中獲取相似的片段。 - 將檢索到的上下文丟入 LLM。 這通常有效，但代價巨大： - 大多數片段包含不相關的文本。 - LLM 必須處理更多的標記。 - 你需要支付計算、延遲和上下文的費用。 這正是 Meta AI 的新方法 REFRAG 解決的問題。 它從根本上重新思考檢索，下面的圖解釋了它的工作原理。 本質上，REFRAG 在向量層面上壓縮和過濾上下文，而不是將每個片段和每個標記都餵給 LLM： - 片段壓縮：每個片段被編碼為一個單一的壓縮嵌入，而不是數百個標記嵌入。 - 相關性策略：一個輕量級的 RL 訓練策略評估壓縮的嵌入，僅保留最相關的片段。 - 選擇性擴展：只有 RL 策略選擇的片段才會擴展回其完整的嵌入並傳遞給 LLM。 這樣，模型只處理重要的內容，忽略其餘部分。 以下是逐步的操作流程： - 步驟 1-2) 編碼文檔並將其存儲在向量數據庫中。 - 步驟 3-5) 編碼完整的用戶查詢並找到相關片段。同時，計算查詢（步驟 7）和匹配片段的標記級嵌入。 - 步驟 6) 使用一個通過 RL 訓練的相關性策略來選擇要保留的片段。 - 步驟 8) 將輸入查詢的標記級表示與選定片段的標記級嵌入和被拒絕片段的壓縮單向量表示連接。 - 步驟 9-10) 將所有這些發送到 LLM。 RL 步驟使 REFRAG 成為一個更具相關性的 RAG 管道。 根據研究論文，這種方法： - 擁有 30.85 倍更快的首次標記時間（比之前的 SOTA 好 3.75 倍） - 提供 16 倍更大的上下文窗口 - 在使用 2-4 倍更少的解碼器標記的情況下，在 16 個 RAG 基準測試中超越 LLaMA。 - 在 RAG、摘要和多輪對話任務中沒有準確性損失 這意味著你可以以 30 倍的速度處理 16 倍的上下文，並保持相同的準確性。 Meta 尚未發布代碼。他們打算很快這樣做。

機器學習工程師必知的 4 種模型訓練範式：

代理在每個任務後都會忘記一切！ Graphiti 為您的 AI 代理構建時間感知的知識圖譜。 將其 MCP 伺服器與 Claude/Cursor 整合，為您在各個應用中的所有 AI 互動添加強大的記憶層。 100% 開源，擁有超過 18k 顆星！