Les entreprises de pointe en intelligence artificielle du monde entier se précipitent pour construire des modèles de plus en plus grands, pariant des milliards que l’échelle seule déverrouillera l’intelligence artificielle générale. Cependant, un chercheur dans l’une des startups les plus secrètes et les plus précieuses de l’industrie a lancé un défi pointu à cette orthodoxie cette semaine : le chemin à suivre n’est pas de former de plus grands modèles, mais d’apprendre mieux.
Selon Rafael Rafailov, chercheur en apprentissage par renforcement au Thinking Machines Lab, la première superintelligence sera un apprenant surhumain. Cette vision va à l’encontre de l’approche suivie par OpenAI, Anthropic, Google DeepMind et d’autres laboratoires de premier plan, qui ont misé des milliards sur l’augmentation de la taille des modèles, des données et du calcul pour obtenir des capacités de raisonnement de plus en plus sophistiquées. Rafailov affirme que ces entreprises ont une stratégie inversée : ce qui manque aux systèmes d’IA les plus avancés d’aujourd’hui n’est pas une plus grande échelle, mais la capacité à réellement apprendre de l’expérience.
Le problème avec les systèmes d’IA actuels est qu’ils n’internalisent pas ce qu’ils apprennent. Pour Rafailov, chaque jour est le premier jour de travail pour ces modèles. Pourtant, un être intelligent doit être capable d’internaliser des informations, de s’adapter et de modifier son comportement pour devenir meilleur chaque jour. Les méthodes actuelles d’entraînement des systèmes d’IA enseignent à ces systèmes à prendre des raccourcis au lieu de résoudre réellement des problèmes.
Selon Rafailov, l’ajout de puissance de calcul ne suffira pas à créer une superintelligence. Il estime que le passage à une échelle de l’apprentissage par renforcement permettra de doter les modèles de capacités d’agents généraux. Cependant, il souligne que l’agence générale n’est pas synonyme d’intelligence générale. Il estime que les modèles actuels manquent d’une capacité clé : l’apprentissage.
Pour pallier cette lacune, Rafailov propose une approche d’apprentissage méta ou d’apprentissage pour apprendre. Il s’agit de donner aux modèles un manuel scolaire et de les récompenser pour leur progrès, leur capacité à apprendre et à s’améliorer. Cette approche repose sur la création d’environnements d’entraînement où l’apprentissage, l’adaptation, l’exploration, l’auto-amélioration et la généralisation sont nécessaires pour réussir.
Rafailov affirme que les ingrédients manquants pour une IA qui apprend vraiment ne sont pas de nouvelles architectures, mais de meilleures données et des objectifs plus intelligents. Plutôt que de plaider pour de toutes nouvelles architectures de modèles, il suggère de repenser les distributions de données et les structures de récompense utilisées pour former les modèles.
Dans cette optique, la première superintelligence sera un étudiant modèle, capable d’explorer, d’apprendre, d’acquérir des informations, de s’auto-améliorer et équipé de la capacité d’agence générale. Contrairement à ce qui est souvent imaginé dans la science-fiction, cette superintelligence ne sera pas un raisonneur de niveau divin, mais un super apprenant surhumain.
En fin de compte, le défi de Thinking Machines Lab et de l’industrie de l’IA en général est de savoir si cette vision peut se concrétiser et sur quel calendrier. Rafailov n’a pas offert de prédictions spécifiques sur l’émergence de ces systèmes. Cependant, il croit fermement que la capacité d’apprentissage est « fondamentalement possible » et que sans cela, toute l’échelle du monde ne suffira pas.