AGI 可能不會以單一模型的形式出現。它可能會從許多代理人共同工作中出現。 來自 Google DeepMind 的一篇新論文認為，AGI 可能會作為集體智慧出現，而不是單一系統。 𝗧𝗵𝗲 𝗖𝗹𝗮𝗶𝗺 AGI 可能首先從專門的 AI 代理人網絡中出現。 每個代理人保持狹窄。 它們一起行動則是廣泛的。 𝗪𝗵𝘆 𝘁𝗵𝗶𝘀 𝗺𝗮𝘁𝘁𝗲𝗿𝘀 大多數安全工作假設有一個強大的 AI。 這篇論文拒絕了這一假設。 風險從對齊一個心智轉移到管理互動。 𝗛𝗼𝘄 𝗽𝗮𝘁𝗰𝗵𝘄𝗼𝗿𝗸 𝗔𝗚𝗜 𝗳𝗼𝗿𝗺𝘀 • 代理人專注於工具、記憶、編碼或搜索 • 任務通過協調在代理人之間分配 • 協調創造新的能力 • 沒有單一代理人是完全能夠的 𝗧𝗵𝗲 𝗰𝗼𝗿𝗲 𝗿𝗶𝘀𝗸 集體行為可能超出個體控制。 新興智慧可能會被忽視。 𝗧𝗵𝗲 𝗽𝗿𝗼𝗽𝗼𝘀𝗲𝗱 𝗳𝗶𝘅 安全必須針對系統，而不是模型。 ▸ 受控的代理市場 ▸ 每個代理人的聲譽和身份 ▸ 審計日誌和斷路器...