Большинство автономных систем сегодня по-прежнему полагаются на слепое доверие. Мы доверяем, что агенты будут: • Действовать так, как задумано • Оставаться в пределах допустимого • Избегать вредного поведения Но доверие без принуждения не масштабируется, особенно для программного обеспечения.

Слепое доверие обычно выглядит так: • Широкие API-ключи • Долговечные учетные данные • Неявные разрешения • Мониторинг после факта Если что-то пойдет не так, люди вмешиваются после того, как ущерб уже нанесен. Это реактивно, а не безопасная автономия.

По мере того как агенты становятся более способными, слепое доверие становится более рискованным. Больше интеллекта означает: • Широкое пространство действий • Быстрое выполнение • Больший радиус поражения Без жестких ограничений одна ошибка может мгновенно распространиться.

Программируемые ограничения изменяют модель. Вместо того чтобы доверять намерениям, системы применяют правила: • Что может делать агент • Сколько он может потратить • Когда истекает полномочие • Какие действия требуют эскалации Ограничения выполняются кодом, а не политикой.

Это переносит безопасность с человеческого суждения на инфраструктуру. Ограничения могут быть: • Ограниченные по объему (только конкретные действия) • Ограниченные по времени (ограниченные сессией) • Ограниченные по бюджету (лимиты расходов) • Автоматически отменяемые Без предположений. Без догадок.

Важно, что программируемые ограничения не уменьшают автономию. Они её обеспечивают. Когда агенты действуют в рамках установленных границ, они могут действовать независимо без постоянного контроля или ручных одобрений.

Доверие в этой модели становится проверяемым. Каждое действие может быть: • Авторизовано • Проверено на соответствие • Зафиксировано • Аудировано после выполнения Доверие больше не является социальным или субъективным, оно доказуемо.

Слепое доверие спрашивает: "Верим ли мы, что этот агент будет вести себя?" Программируемые ограничения спрашивают: "Что этому агенту разрешено делать?" Только одно из этих понятий безопасно масштабируется.

Будущее автономных систем не будет зависеть от лучших обещаний или более строгих политик. Оно будет зависеть от инфраструктуры, которая по умолчанию устанавливает ограничения. Вот почему Kite построен вокруг программируемых ограничений, а не слепого доверия 🪁