Les chercheurs ont mis au point une nouvelle attaque révélant les vulnérabilités en matière de confidentialité en déterminant si vos données ont été utilisées pour entraîner des modèles d’IA.
La méthode, appelée CAMIA (Attaque d’inférence d’adhésion contextuelle), a été développée par des chercheurs de Brave et de l’Université nationale de Singapour et est bien plus efficace que les tentatives précédentes pour sonder la ‘mémoire’ des modèles d’IA.
Il y a une préoccupation croissante concernant la « mémorisation des données » en IA, où les modèles stockent involontairement et peuvent potentiellement divulguer des informations sensibles de leurs ensembles d’entraînement. En santé, un modèle entraîné sur des notes cliniques pourrait révéler accidentellement des informations sensibles sur les patients. Pour les entreprises, si des e-mails internes ont été utilisés lors de l’entraînement, un attaquant pourrait être en mesure de tromper un LLM pour reproduire des communications privées de l’entreprise.
Ces préoccupations en matière de confidentialité ont été amplifiées par des annonces récentes, telles que le plan de LinkedIn d’utiliser les données des utilisateurs pour améliorer ses modèles d’IA générative, soulevant des questions sur la possibilité que du contenu privé puisse apparaître dans le texte généré.
Pour tester cette fuite, les experts en sécurité utilisent des attaques d’inférence d’adhésion, ou MIA. En termes simples, une MIA pose une question critique au modèle : « Avez-vous vu cet exemple lors de l’entraînement ? ». Si un attaquant peut déterminer de manière fiable la réponse, cela prouve que le modèle divulgue des informations sur ses données d’entraînement, posant un risque direct pour la confidentialité.
L’idée principale est que les modèles se comportent souvent différemment lorsqu’ils traitent des données sur lesquelles ils ont été entraînés par rapport à des données nouvelles et non vues. Les MIAs sont conçues pour exploiter systématiquement ces écarts de comportement.
Jusqu’à présent, la plupart des MIAs étaient largement inefficaces contre les IA génératives modernes. Cela est dû au fait qu’ils étaient à l’origine conçus pour des modèles de classification plus simples qui donnent une seule sortie par entrée. Les LLM, cependant, génèrent du texte token par token, chaque nouveau mot étant influencé par les mots qui le précèdent. Ce processus séquentiel signifie que simplement regarder la confiance globale pour un bloc de texte passe à côté des dynamiques moment par moment où la fuite se produit réellement.
L’insight clé derrière la nouvelle attaque de confidentialité CAMIA est que la mémorisation d’un modèle d’IA est dépendante du contexte. Un modèle d’IA s’appuie fortement sur la mémorisation lorsqu’il est incertain sur ce qu’il doit dire ensuite.
Par exemple, étant donné le préfixe « Harry Potter est… écrit par… Le monde de Harry… », dans l’exemple ci-dessous de Brave, un modèle peut facilement deviner que le prochain token est « Potter » par généralisation, car le contexte fournit de forts indices.
Dans un tel cas, une prédiction confiante n’indique pas une mémorisation. Cependant, si le préfixe est simplement « Harry », prédire « Potter » devient beaucoup plus difficile sans avoir mémorisé des séquences d’entraînement spécifiques. Une prédiction à faible perte, à haute confiance dans ce scénario ambigu, est un indicateur beaucoup plus fort de mémorisation.
CAMIA est la première attaque de confidentialité spécifiquement conçue pour exploiter cette nature générative des modèles d’IA modernes. Elle suit comment l’incertitude du modèle évolue pendant la génération de texte, lui permettant de mesurer à quelle vitesse l’IA passe de « deviner » à « rappeler avec confiance ». En opérant au niveau du token, elle peut s’adapter aux situations où une faible incertitude est causée par une simple répétition et peut identifier les motifs subtils de la vraie mémorisation que d’autres méthodes ignorent.
Les chercheurs ont testé CAMIA sur le banc d’essai MIMIR sur plusieurs modèles Pythia et GPT-Neo. Lors de l’attaque d’un modèle Pythia de 2,8 milliards de paramètres sur l’ensemble de données ArXiv, CAMIA a presque doublé la précision de détection des méthodes précédentes. Elle a augmenté le taux de vrais positifs de 20,11 % à 32,00 % tout en maintenant un taux de faux positifs très faible de seulement 1 %.
Le cadre d’attaque est également efficace du point de vue computationnel. Sur un seul GPU A100, CAMIA peut traiter 1 000 échantillons en environ 38 minutes, ce qui en fait un outil pratique pour l’audit des modèles.
Ce travail rappelle à l’industrie de l’IA les risques en matière de confidentialité que représentent l’entraînement de modèles de plus en plus grands sur des ensembles de données vastes et non filtrés. Les chercheurs espèrent que leur travail encouragera le développement de techniques plus respectueuses de la confidentialité et contribuera aux efforts continus visant à équilibrer l’utilité de l’IA avec la confidentialité fondamentale des utilisateurs.