今日のほとんどの自律システムは依然として盲目的な信頼に依存しています。 私たちは、エージェントが以下を果たすことを期待しています: ・意図通りに行動すること ・制限内に収める ・有害な行動の回避 しかし、強制のない信頼はスケールしません。特にソフトウェアの場合です。

ブラインド・トラストは通常、次のような形をとります。 ・広範なAPIキー ・長期間にわたる実績 ・暗黙的許可 ・事後監視 何か問題が起きると、人間が被害を受けた後に介入します。 それは受動的なものであって、安全な自律性ではありません。

エージェントがより有能になるにつれて、盲目的な信頼はリスクが高まります。 より多くの知能は以下の通りです: ・より広いアクションスペース ・実行の迅速化 ・爆風半径の拡大 厳密な制限がなければ、たった一つのミスが瞬時に広がることがあります。

プログラム可能な制約はモデルを変えます。 意図を信頼する代わりに、システムはルールを強制します: ・エージェントができること ・どれだけの支出が可能か ・権限が失効した時 • エスカレーションが必要な行動 制約はポリシーではなくコードによって実行されます。

これにより、安全性は人間の判断からインフラへと移ります。 制約は以下の通りです: ・スコープ付き(特定のアクションのみ) • 時間制限(セッション制限) ・予算制限(支出上限) ・自動取消可能 決めつけはなし。推測は不要です。

重要なのは、プログラム可能な制約が自律性を減らすわけではないということです。 彼らはそれを可能にしている。 エージェントが強制された境界内で活動する場合、常に監督や手動承認を受けることなく独立して行動できます。

このモデルでは、信頼は検証可能になります。 すべての行動は以下の通りです: ・認可済み ・制約チェック ・ログ ・執行後に監査 信頼はもはや社会的でも主観的でもなく、証明可能です。

ブラインド・トラストは「このエージェントが行動を起こすと信じますか?」と問いかけます。 プログラム可能な制約は「このエージェントは何を許されているのか?」と問いかけます。 安全に使えるのはこのスケールのうち1つだけです。

自律システムの未来は、より良い約束や厳しい政策に依存しません。 それはデフォルトで制限を設けるインフラに依存します。 だからこそ、カイトは盲目的な信頼🪁ではなく、プログラム可能な制約に基づいて構築されているのです