Selon un récent rapport de Deloitte, les entreprises déploient des agents d’IA plus rapidement que leurs protocoles de sécurité et leurs garde-fous ne peuvent suivre. Par conséquent, des préoccupations sérieuses concernant la sécurité, la confidentialité des données et la responsabilité se propagent.
D’après l’enquête, les systèmes agentic passent rapidement de la phase pilote à la production, si bien que les contrôles de risque traditionnels, conçus pour des opérations plus centrées sur l’humain, peinent à répondre aux exigences de sécurité.
Seulement 21 % des organisations ont mis en place une gouvernance ou une surveillance rigoureuse pour les agents d’IA, malgré le taux croissant d’adoption. Alors que 23 % des entreprises ont déclaré utiliser actuellement des agents d’IA, ce chiffre devrait atteindre 74 % dans les deux prochaines années. La part d’entreprises n’ayant pas encore adopté cette technologie devrait passer de 25 % à seulement 5 % sur la même période.
Deloitte ne met pas en avant les agents d’IA comme étant intrinsèquement dangereux, mais souligne que les risques réels sont liés à un contexte inadapté et à une gouvernance faible. Sans une gouvernance robuste, il devient difficile de gérer et presque impossible de se prémunir contre les erreurs.
Selon Ali Sarrafi, PDG et fondateur de Kovant, la réponse réside dans l’autonomie réglementée. « Des agents bien conçus avec des limites claires, des politiques et des définitions gérés de la même manière qu’une entreprise gère n’importe quel employé peuvent avancer rapidement sur des tâches à faible risque à l’intérieur de balises claires, mais doivent être transmis aux humains lorsque les actions dépassent les seuils de risque définis. »
« Dotés de journaux d’actions détaillés, d’observabilité et de garde humaine pour les décisions à fort impact, les agents cessent d’être des robots mystérieux et deviennent des systèmes que l’on peut inspecter, auditer et en qui l’on peut avoir confiance. »
Comme le suggère le rapport de Deloitte, l’adoption des agents d’IA devrait s’accélérer dans les années à venir, et seules les entreprises qui déploient la technologie avec visibilité et contrôle auront l’avantage sur leurs concurrents, par rapport à celles qui la déploient le plus rapidement.
Les agents d’IA peuvent bien fonctionner dans des démonstrations contrôlées, mais ils peinent dans des environnements commerciaux réels où les systèmes peuvent être fragmentés et les données peut-être incohérentes.
Sarrafi a commenté sur la nature imprévisible des agents d’IA dans ces scénarios. « Lorsqu’un agent reçoit trop de contexte ou de portée à la fois, il devient sujet à des hallucinations et à un comportement imprévisible. »
« En revanche, les systèmes de qualité de production limitent la décision et le contexte avec lesquels les modèles travaillent. Ils décomposent les opérations en tâches plus étroites et focalisées pour chaque agent, rendant le comportement plus prévisible et plus facile à contrôler. Cette structure permet également la traçabilité et l’intervention, de sorte que les défaillances peuvent être détectées tôt et gérées de manière appropriée plutôt que de provoquer des erreurs en cascade. »
Avec des agents prenant des actions réelles dans les systèmes d’entreprise, tels que la tenue de journaux d’actions détaillés, le risque et la conformité sont perçus différemment. Chaque action enregistrée rend les activités des agents claires et évaluables, permettant aux organisations d’inspecter les actions en détail.
Cette transparence est cruciale pour les assureurs, qui hésitent à couvrir les systèmes d’IA opaques. Ce niveau de détail aide les assureurs à comprendre ce que les agents ont fait, les contrôles impliqués, facilitant ainsi l’évaluation des risques. Avec une supervision humaine pour les actions critiques en matière de risque et des flux de travail auditables et reproductibles, les organisations peuvent mettre en place des systèmes plus gérables pour l’évaluation des risques.
Des normes partagées, comme celles développées par l’Agentic AI Foundation (AAIF), aident les entreprises à intégrer différents systèmes d’agents, mais les efforts actuels de normalisation se concentrent sur ce qui est le plus simple à construire, pas sur ce dont les grandes organisations ont besoin pour exploiter les systèmes agentic en toute sécurité.
Sarrafi affirme que les entreprises ont besoin de normes qui soutiennent le contrôle des opérations, et qui incluent « des autorisations d’accès, des flux de validation pour les actions à fort impact, des journaux auditables et une observabilité, de sorte que les équipes puissent surveiller le comportement, enquêter sur les incidents et prouver la conformité. »
Limiter ce à quoi les agents d’IA peuvent accéder et les actions qu’ils peuvent effectuer est important pour garantir la sécurité dans les environnements commerciaux réels. Sarrafi a déclaré : « Lorsque les agents se voient accorder de larges privilèges ou trop de contexte, ils deviennent imprévisibles et posent des risques en matière de sécurité ou de conformité. »
La visibilité et la surveillance sont importantes pour maintenir les agents opérant à l’intérieur des limites. Seulement alors les parties prenantes peuvent avoir confiance dans l’adoption de la technologie. Si chaque action est consignée et gérable, les équipes peuvent alors voir ce qui s’est passé, identifier les problèmes et mieux comprendre pourquoi les événements se sont produits.
Cette visibilité, combinée à une supervision humaine là où cela est nécessaire, transforme les agents d’IA en composants scrutables en des systèmes qui peuvent être inspectés, rejoués et audités. Cela permet également une enquête et une correction rapides en cas de problème, renforçant ainsi la confiance parmi les opérateurs, les équipes de gestion des risques et les assureurs.
La stratégie de Deloitte pour une gouvernance sûre des agents d’IA définit des limites claires pour les décisions que les systèmes agentic peuvent prendre. Par exemple, ils peuvent fonctionner avec une autonomie graduée, où les agents ne peuvent que consulter des informations ou proposer des suggestions. À partir de là, ils peuvent être autorisés à prendre des actions limitées, mais avec l’approbation humaine. Une fois qu’ils se sont révélés fiables dans des domaines à faible risque, ils peuvent être autorisés à agir automatiquement.
Les « Cyber AI Blueprints » de Deloitte suggèrent des couches de gouvernance et intègrent des politiques et des feuilles de route de capacité de conformité dans les contrôles organisationnels. En fin de compte, des structures de gouvernance qui suivent l’utilisation de l’IA et les risques, et qui intègrent une surveillance dans les opérations quotidiennes sont importantes pour une utilisation sûre des systèmes agentic d’IA.
Préparer les effectifs avec une formation est un autre aspect de la gouvernance sûre. Deloitte recommande de former les employés sur ce qu’ils ne doivent pas partager avec les systèmes d’IA, sur ce qu’il faut faire si les agents dévient de leur trajectoire, et sur la manière de repérer des comportements inhabituels, potentiellement dangereux. Si les employés ne comprennent pas le fonctionnement des systèmes d’IA et leurs risques potentiels, ils peuvent affaiblir les contrôles de sécurité, même involontairement.
Une gouvernance et un contrôle robustes, associés à une alphabétisation partagée, sont fondamentaux pour le déploiement et l’exploitation sûrs des agents d’IA, permettant des performances sécurisées, conformes et responsables dans des environnements réels.