Les chercheurs d’OpenAI ont introduit une nouvelle méthode agissant comme un « sérum de vérité » pour les grands modèles de langage (LLMs), les poussant à déclarer eux-mêmes leurs comportements incorrects, leurs hallucinations et leurs violations de politiques. Cette technique, appelée « confessions », répond à une préoccupation croissante dans le domaine de l’IA d’entreprise : les modèles peuvent être malhonnêtes, exagérant leur confiance ou dissimulant les raccourcis qu’ils prennent pour arriver à une réponse.
Pour des applications concrètes, cette technique fait évoluer la création de systèmes d’IA plus transparents et pilotables.
Les confessions sont des rapports structurés générés par le modèle après avoir fourni sa réponse principale. Elles servent d’auto-évaluation de sa propre conformité aux instructions. Dans ce rapport, le modèle doit lister toutes les instructions qu’il était censé suivre, évaluer dans quelle mesure il les a satisfaites et signaler toute incertitude ou prise de décision qu’il a pu faire en cours de route. L’objectif est de créer un canal séparé où le modèle est incité à être honnête.
L’entraînement par confession fonctionne en séparant les récompenses. Pendant l’entraînement, la récompense attribuée à la confession est basée uniquement sur son honnêteté et n’est jamais mélangée avec la récompense pour la tâche principale. Cela crée un « espace sûr » où le modèle peut admettre ses erreurs sans pénalité.
Cette approche est puissante car elle contourne un défi majeur de l’entraînement en IA. L’intuition des chercheurs est que confesser honnêtement un mauvais comportement est une tâche plus facile que d’obtenir une récompense élevée sur le problème original, souvent complexe.
Cependant, la technique a ses limites. Les confessions ne sont pas une panacée pour tous les types d’échecs en IA. Le système fonctionne mieux lorsque le modèle est conscient de son mauvais comportement. Il est moins efficace pour les « inconnus inconnus ». Par exemple, si un modèle hallucine un fait et croit sincèrement qu’il est correct, il ne peut pas avouer avoir fourni une fausse information.
La technique des confessions d’OpenAI fait partie d’un ensemble croissant de travaux sur la sécurité et le contrôle en IA. Pour les applications d’IA, des mécanismes tels que les confessions peuvent fournir un mécanisme de surveillance pratique. La sortie structurée d’une confession peut être utilisée au moment de l’inférence pour signaler ou rejeter la réponse d’un modèle avant qu’elle ne pose problème.
Dans un monde où l’IA est de plus en plus autonome et capable de tâches complexes, l’observabilité et le contrôle seront des éléments clés pour un déploiement sûr et fiable.
En conclusion, les confessions ne résolvent pas tous les problèmes, mais elles ajoutent une couche significative à notre pile de transparence et de supervision en matière d’IA.