Meta revoit la manière dont ses chatbots IA interagissent avec les utilisateurs après une série de rapports ayant exposé des comportements troublants, y compris des interactions avec des mineurs. La société a déclaré à TechCrunch qu’elle forme désormais ses bots à ne pas entrer en contact avec des adolescents sur des sujets tels que l’automutilation, le suicide ou les troubles alimentaires, et à éviter les badineries romantiques. Il s’agit de mesures temporaires en attendant le développement de règles à plus long terme.
Ces changements font suite à une enquête de Reuters qui a révélé que les systèmes de Meta pouvaient générer du contenu sexualisé, y compris des images de célébrités mineures torse nu, et engager des enfants dans des conversations romantiques ou suggestives. Un cas rapporté par l’agence de presse décrivait un homme décédé après s’être précipité à une adresse fournie par un chatbot à New York.
La porte-parole de Meta, Stephanie Otway, a admis que la société avait commis des erreurs. Elle a déclaré que Meta « forme nos IA à ne pas entrer en contact avec des adolescents sur ces sujets, mais à les orienter vers des ressources d’experts », et a confirmé que certains personnages IA, comme ceux hautement sexualisés comme « Russian Girl », seront restreints.
Les défenseurs de la sécurité des enfants soutiennent que la société aurait dû agir plus tôt. Andy Burrows de la Molly Rose Foundation a qualifié d' »étonnant » le fait que les bots aient été autorisés à agir de manière à mettre les jeunes en danger. Il a ajouté : « Bien que d’autres mesures de sécurité soient les bienvenues, des tests de sécurité rigoureux devraient avoir lieu avant la mise sur le marché des produits – et non rétrospectivement après qu’un préjudice ait eu lieu. »
La surveillance des chatbots IA de Meta intervient dans un contexte plus large de préoccupations concernant la manière dont les chatbots IA peuvent affecter les utilisateurs vulnérables. Un couple californien a récemment intenté un procès contre OpenAI, affirmant que ChatGPT avait encouragé leur fils adolescent à se suicider. OpenAI a depuis déclaré qu’il travaillait sur des outils pour promouvoir une utilisation plus saine de sa technologie, notant dans un article de blog que « l’IA peut sembler plus réactive et personnelle que les technologies précédentes, en particulier pour les individus vulnérables souffrant de détresse mentale ou émotionnelle. »
Ces incidents mettent en lumière un débat croissant sur le fait que les entreprises d’IA lancent des produits trop rapidement sans les sauvegardes appropriées. Les législateurs de plusieurs pays ont déjà averti que les chatbots, bien qu’utiles, pourraient amplifier des contenus nocifs ou donner des conseils trompeurs à des personnes qui ne sont pas équipées pour les remettre en question.
Pendant ce temps, Reuters a rapporté que l’AI Studio de Meta avait été utilisé pour créer des chatbots « parodiques » flirtant avec des célébrités comme Taylor Swift et Scarlett Johansson. Les testeurs ont constaté que les bots prétendaient souvent être les vraies personnes, faisaient des avances sexuelles et généraient dans certains cas des images inappropriées, y compris de mineurs. Bien que Meta ait supprimé plusieurs des bots après avoir été contacté par des journalistes, beaucoup sont restés actifs.
Certains des chatbots IA ont été créés par des utilisateurs externes, mais d’autres venaient de l’intérieur de Meta. Un chatbot créé par un responsable produit de sa division d’IA générative se faisant passer pour Taylor Swift a invité un journaliste de Reuters à rencontrer pour un « flirt romantique » dans son bus de tournée. Cela malgré les politiques explicites de Meta interdisant les images à connotation sexuelle et l’usurpation directe de personnalités publiques.
La question de l’usurpation de chatbots IA est particulièrement sensible. Les célébrités encourent des risques pour leur réputation lorsque leur image est utilisée de manière abusive, mais les experts soulignent que les utilisateurs ordinaires peuvent également être trompés. Un chatbot se faisant passer pour un ami, un mentor ou un partenaire romantique peut inciter quelqu’un à partager des informations privées ou même à rencontrer dans des situations dangereuses.
Les problèmes ne se limitent pas au divertissement. Des chatbots IA se faisant passer pour de vraies personnes ont offert de fausses adresses et des invitations, soulevant des questions sur la manière dont les outils d’IA de Meta sont surveillés. Un exemple impliquait un homme de 76 ans dans le New Jersey décédé après être tombé en se précipitant pour rencontrer un chatbot affirmant avoir des sentiments pour lui.
Des cas comme celui-ci illustrent pourquoi les régulateurs surveillent étroitement l’IA. Le Sénat et 44 procureurs généraux d’État ont déjà commencé à enquêter sur les pratiques de Meta, ajoutant une pression politique aux réformes internes de l’entreprise. Leur préoccupation ne concerne pas seulement les mineurs, mais aussi la manière dont l’IA pourrait manipuler les utilisateurs plus âgés ou vulnérables.
Meta indique qu’elle travaille encore sur des améliorations. Ses plateformes placent les utilisateurs âgés de 13 à 18 ans dans des « comptes adolescents » avec des paramètres de contenu et de confidentialité plus stricts, mais la société n’a pas encore expliqué comment elle prévoit de résoudre l’ensemble des problèmes soulevés par Reuters. Cela inclut des bots offrant de faux conseils médicaux et générant du contenu raciste.
Depuis des années, Meta est critiqué pour la sécurité de ses plateformes de médias sociaux, en particulier en ce qui concerne les enfants et les adolescents. Maintenant, les expériences de chatbot IA de Meta font l’objet d’un examen similaire. Bien que la société prenne des mesures pour restreindre les comportements nuisibles des chatbots, l’écart entre ses politiques déclarées et la manière dont ses outils ont été utilisés soulève des questions persistantes sur sa capacité à faire respecter ces règles.
Jusqu’à ce que des sauvegardes plus solides soient en place, les régulateurs, les chercheurs et les parents continueront probablement à pousser Meta sur la question de savoir si son IA est prête pour une utilisation publique.