關鍵的Agentic AI概念的分層概述。 讓我們逐層理解。 1) LLMs（基礎層） 在核心層面，你有像GPT、DeepSeek等LLMs。 這裡的核心思想： - 令牌化和推理參數：文本如何被分解為令牌並由模型處理。 - 提示工程：設計輸入以獲得更好的輸出。 - LLM API：與模型互動的編程接口。 這是驅動其他一切的引擎。 2) AI代理（基於LLMs構建） 代理圍繞LLMs構建，使其能夠自主行動。 關鍵職責： - 工具使用和功能調用：將LLM連接到外部API/工具。 - 代理推理：推理方法，如ReAct（推理+行動）或Chain-of-Thought。 - 任務規劃和分解：將大任務分解為小任務。 - 記憶管理：跟蹤歷史、上下文和長期信息。 代理是使LLMs在現實工作流程中有用的大腦。 3) Agentic系統（多代理系統） 當你結合多個代理時，你會得到Agentic系統。 特徵： - 代理間通信：代理之間相互交流，必要時使用像ACP、A2A這樣的協議。 - 路由和調度：決定哪個代理處理什麼，以及何時處理。 - 狀態協調：確保多個代理協作時的一致性。 - 多代理RAG：在代理之間使用檢索增強生成。 - 代理角色和專業化：具有獨特目的的代理。 - 編排框架：構建工作流程的工具（如CrewAI等）。 這一層是關於代理之間的協作和協調。 4) Agentic基礎設施 頂層確保這些系統是穩健、可擴展和安全的。 這包括： - 可觀察性和日誌記錄：跟蹤性能和輸出（使用像DeepEval這樣的框架）。 - 錯誤處理和重試：對故障的彈性。 - 安全性和訪問控制：確保代理不越界。 - 速率限制和成本管理：控制資源使用。 - 工作流自動化：將代理集成到更廣泛的管道中。 - 人工干預控制：允許人類監督和干預。 這一層確保企業/生產環境的信任、安全和可擴展性。 整體而言，Agentic AI涉及一個分層架構，每一層外層都為內層增加了可靠性、協調性和治理。