Une fuite suggère qu’OpenAI est sur le point de lancer un nouveau modèle IA open-source puissant, potentiellement dans les heures à venir. Les preuves proviennent d’une série d’indices numériques minutieusement examinés par les développeurs. Au centre de tout cela se trouvent des captures d’écran montrant une série de dépôts de modèles avec des noms tels que yofo-deepcurrent/gpt-oss-120b et yofo-wildflower/gpt-oss-20b. Les dépôts ont depuis été supprimés, mais les comptes mettent en avant des membres de l’équipe OpenAI.
Ce tag gpt-oss est le véritable élément déclencheur, semblant être un signe clair pour ‘GPT Open Source Software’. Pour une entreprise qui a de plus en plus protégé ses modèles de premier plan, ce serait en quelque sorte un retour à ses racines. Le fait que nous voyons plusieurs versions, avec différents noms de code et tailles, suggère qu’une famille bien planifiée de modèles est sur le point de faire ses débuts.
Grâce à un fichier de configuration divulgué, nous pouvons même jeter un coup d’œil sous le capot de la version suspectée de 120 milliards de paramètres. Le modèle semble être construit sur une architecture Mixture of Experts, ou MoE. Imaginez-le moins comme un cerveau unique et monolithique tentant de tout savoir, et plus comme un conseil de 128 experts spécialisés. Lorsqu’une requête arrive, le système sélectionne intelligemment les quatre meilleurs experts pour le travail. Cela donne au modèle la vaste connaissance de son énorme nombre de paramètres, mais la vitesse et l’agilité d’un système beaucoup plus petit, car seule une fraction de celui-ci fonctionne à tout moment.
Cette conception place le modèle IA open-source d’OpenAI directement en concurrence avec les chouchous de la scène, comme Mixtral de Mistral AI et la famille Llama de Meta. Et les spécifications ne s’arrêtent pas là. Le modèle IA open-source d’OpenAI semble se vanter d’un vocabulaire énorme, ce qui devrait le rendre plus efficace avec une gamme plus large de langues, et utilise Sliding Window Attention pour gérer de longs flux de texte sans broncher. En pratique, tout cela indique un modèle à la fois puissant et pratique à exécuter.
Alors, pourquoi OpenAI ferait-elle un tel mouvement maintenant ? Depuis des années, l’entreprise a été l’objet de critiques pour s’éloigner de ses débuts plus ouverts. Lancer un puissant gpt-oss serait une énorme opération de charme visant directement les développeurs et chercheurs qui se sentaient laissés pour compte.
Bien sûr, c’est aussi un jeu concurrentiel avisé. Meta et Mistral ont montré comment un écosystème open-source florissant peut stimuler l’innovation. En introduisant un modèle IA open-source puissant comme celui-ci dans la mêlée, OpenAI ne fait pas que rejoindre la course ; elle tente de redéfinir la voie.
Jusqu’à ce que nous ayons la confirmation officielle d’OpenAI, tout cela reste, techniquement, une rumeur. Mais c’est une rumeur avec du contenu, soutenue par du code et des fichiers de configuration. Le lancement d’un modèle MoE open-source de haute performance de 120 milliards de paramètres de la marque la plus célèbre en IA ne serait rien de moins qu’un événement majeur, et il semble imminent.