Agent IA en entreprise : comment l'empêcher de faire n'importe quoi
Écouter cet article
Pour sécuriser un agent IA, il ne suffit pas de lui écrire « sois prudent ». Les limites doivent être appliquées hors du modèle, par le système qui exécute ses actions. Une instruction se contourne, un refus technique beaucoup moins.
Pourquoi un agent est plus risqué qu'un chatbot ?
Un chatbot produit du texte. Un agent lit des pages, appelle des outils et lance des actions. Si une page web ou un e-mail contient une consigne piégée, le modèle peut la suivre. Il faut donc partir d'un principe simple : le contenu lu par l'agent n'est pas fiable.
Quelles protections exiger ?
| Risque | Protection |
|---|---|
| Action non prévue | Refus par défaut : ce qui n'est pas accordé est interdit |
| Commande destructrice | Blocage avant exécution |
| Accès au réseau interne | Refus des adresses internes lors de la lecture du web |
| Vol de clé | Chiffrement des clés au repos |
| Outil tiers douteux | Accord explicite, serveur par serveur |
Faut-il une validation humaine ?
Oui pour les actions sensibles : remboursement, contrat, envoi à un client important. Pour le reste, une politique claire évite de transformer chaque action en clic d'approbation, que plus personne ne lit.
Comment kaiin applique ces règles
Dans kaiin, chaque action passe par une politique d'autorisation dont la règle de départ est le refus. Un agent ne peut utiliser que ses capacités déclarées et les serveurs MCP accordés. Les clés de fournisseur sont chiffrées en AES-256-GCM, et la mémoire est séparée par compte client.
Les questions à poser à un fournisseur
- Que se passe-t-il pour une action non prévue ?
- La règle est-elle appliquée par le système ou par le prompt ?
- Où sont stockées mes clés ?
- Ma mémoire est-elle isolée des autres clients ?
- Puis-je voir ce que l'agent a fait ?