La plupart des systèmes autonomes aujourd'hui reposent encore sur une confiance aveugle. Nous faisons confiance aux agents pour qu'ils : • Agissent comme prévu • Restent dans les limites • Évitent les comportements nuisibles Mais la confiance sans enforcement ne se développe pas, surtout pour les logiciels.

La confiance aveugle ressemble généralement à ceci : • Clés API larges • Identifiants à longue durée de vie • Permissions implicites • Surveillance a posteriori Si quelque chose ne va pas, les humains interviennent après que les dégâts sont faits. C'est réactif, pas une autonomie sûre.

À mesure que les agents deviennent plus capables, la confiance aveugle devient plus risquée. Plus d'intelligence signifie : • Un espace d'action plus large • Une exécution plus rapide • Un rayon d'impact plus grand Sans limites strictes, une seule erreur peut se propager instantanément.

Les contraintes programmables modifient le modèle. Au lieu de faire confiance à l'intention, les systèmes appliquent des règles : • Ce qu'un agent peut faire • Combien il peut dépenser • Quand l'autorité expire • Quelles actions nécessitent une escalade Les contraintes sont exécutées par du code, pas par des politiques.

Cela déplace la sécurité du jugement humain vers l'infrastructure. Les contraintes peuvent être : • Délimitées (actions spécifiques uniquement) • Temporelles (limitées à la session) • Budgétaires (plafonds de dépenses) • Révocables automatiquement Pas d'assumptions. Pas de conjectures.

Il est important de noter que les contraintes programmables ne réduisent pas l'autonomie. Elles l'autorisent. Lorsque les agents opèrent dans des limites imposées, ils peuvent agir de manière indépendante sans supervision constante ni approbations manuelles.

La confiance, dans ce modèle, devient vérifiable. Chaque action peut être : • Autorisée • Vérifiée par des contraintes • Enregistrée • Auditée après exécution La confiance n'est plus sociale ou subjective, elle est prouvable.

La confiance aveugle demande : « Croyons-nous que cet agent se comportera ? » Les contraintes programmables demandent : « Que peut faire cet agent ? » Seule l'une de ces options est sûre.

L'avenir des systèmes autonomes ne dépendra pas de meilleures promesses ou de politiques plus strictes. Il dépendra d'une infrastructure qui impose des limites par défaut. C'est pourquoi Kite est construit autour de contraintes programmables, et non d'une confiance aveugle 🪁