Les logiciels d’ingénierie, les développeurs et les chercheurs universitaires expriment de sérieuses préoccupations concernant les transcriptions du service Whisper d’OpenAI, comme le rapporte un article de l’Associated Press.
Bien que la tendance des intelligences artificielles génératives à halluciner ait été largement discutée, il est surprenant de constater que ce problème se retrouve également dans les transcriptions, où l’on s’attendrait à ce que le texte suive de près l’audio transcrit.
Les chercheurs ont rapporté à l’Associated Press que Whisper introduit dans les transcriptions des commentaires raciaux et des traitements médicaux imaginaires, ce qui pourrait être particulièrement problématique dans les hôpitaux et autres contextes médicaux.
Une étude menée par un chercheur de l’Université du Michigan sur des réunions publiques a révélé des hallucinations dans huit transcriptions audio sur dix. Un ingénieur en apprentissage automatique a étudié plus de 100 heures de transcriptions de Whisper et a trouvé des hallucinations dans plus de la moitié d’entre elles. Un développeur a signalé avoir trouvé des hallucinations dans presque toutes les 26 000 transcriptions qu’il a créées avec Whisper.
Un porte-parole d’OpenAI a déclaré que l’entreprise travaille constamment à améliorer la précision de ses modèles, y compris en réduisant les hallucinations, et a souligné que ses politiques d’utilisation interdisent l’utilisation de Whisper dans certains contextes de prise de décision à haut risque.
« Ils ont remercié les chercheurs de partager leurs découvertes », ont-ils déclaré.
