OpenAI a récemment annoncé la sortie de sa nouvelle famille de modèles de langage AI large weights open, gpt-oss, sous une licence Apache 2.0 permissive. Moins de deux semaines après son lancement, des développeurs externes à l’entreprise commencent déjà à le remodeler. Jack Morris, doctorant en informatique à Cornell Tech, ancien résident de Google Brain et chercheur actuel chez Meta, a dévoilé sa propre version retravaillée du modèle gpt-oss-20B d’OpenAI. Son modèle gpt-oss-20B-base élimine le comportement de "raisonnement" du modèle et le ramène à une version "de base" pré-entraînée offrant des réponses plus rapides, plus libres et moins censurées.
Ce modèle est désormais disponible sur Hugging Face sous une licence MIT permissive, permettant son utilisation à des fins de recherche et d’applications commerciales supplémentaires.
Pour comprendre ce que Morris a fait, il est utile de connaître la différence entre la version d’OpenAI et ce que les chercheurs en IA appellent un "modèle de base". La plupart des LLM proposés par les principaux laboratoires d’IA comme OpenAI, Anthropic, Google et même des acteurs open source comme Meta, DeepSeek et l’équipe Qwen d’Alibaba sont "post-entraînés". Cela signifie qu’ils ont été soumis à une phase supplémentaire où ils ont été exposés à des exemples de comportements souhaités. Pour les modèles optimisés pour l’instruction, cela signifie leur donner de nombreux exemples d’instructions associées à des réponses idéales, afin qu’ils apprennent à répondre de manière plus utile, polie ou sûre aux demandes en langage naturel.
Les modèles gpt-oss d’OpenAI publiés le 5 août étaient "optimisés pour le raisonnement" : entraînés et affinés non seulement pour prédire le mot suivant, mais aussi pour suivre des instructions de manière sûre et cohérente, en passant souvent par des problèmes de raisonnement structuré avant de produire une réponse finale. C’est une tendance qui remonte au modèle o1 d’OpenAI sorti il y a presque un an en septembre 2024, mais que de nombreux laboratoires d’IA de premier plan ont adoptée, obligeant les modèles à réfléchir plus longuement sur plusieurs étapes et à vérifier leur travail avant de produire une réponse bien raisonnée à l’utilisateur.
Un modèle de base est différent. Il s’agit de la version pré-entraînée brute d’un grand modèle de langage avant que cet alignement spécifique au raisonnement ne soit appliqué. Les modèles de base essaient simplement de prédire le prochain morceau de texte en fonction de ce qui a précédé, sans garde-fous intégrés, préférences stylistiques ou comportements de refus. Ils sont appréciés par certains chercheurs car ils peuvent produire des sorties plus variées et moins contraintes, et étudier leur comportement non aligné peut révéler comment les modèles stockent les connaissances et les motifs de leurs données d’entraînement.
L’objectif de Morris était de "renverser" le processus d’alignement d’OpenAI et de ramener le modèle gpt-oss-20B plus petit à quelque chose de beaucoup plus proche de son état pré-entraîné d’origine. Plutôt que d’essayer de "jailbreaker" le modèle avec des astuces intelligentes, Morris a pris une autre direction après une conversation avec l’ancien co-fondateur d’OpenAI, ancien chercheur d’Anthropic et actuel directeur scientifique de Thinking Machines, John Schulman.
L’idée était de considérer le renversement de l’alignement comme un petit problème d’optimisation : si la plupart des connaissances pré-entraînées du modèle sont toujours présentes dans ses poids, alors seule une mise à jour de faible rang pourrait être nécessaire pour le ramener vers un comportement de modèle de base. Morris a mis en œuvre cette idée en appliquant une mise à jour LoRA (low-rank adapter) à seulement trois couches du modèle – les couches MLP aux positions 7, 15 et 23 – avec un rang de 16. Environ 60 millions de paramètres ont été entraînés, soit 0,3% des 21 milliards de paramètres du modèle.
L’entraînement a duré quatre jours sur huit GPU NVIDIA H200, avec un taux d’apprentissage de 2e-6, une taille de lot de 16 et une longueur de séquence maximale de 8 192 jetons. Ensuite, il a fusionné les poids LoRA dans le modèle afin que les utilisateurs puissent l’exécuter comme un artefact entièrement affiné.
Morris a également dû tenir compte des limitations des outils actuels pour le réglage fin des architectures MoE (mélange d’experts) comme gpt-oss. Pour optimiser le référencement SEO du contenu, il est important de reformuler le texte de manière claire et concise. Voici une version optimisée du texte original :
Pour son travail, Morris a utilisé le framework de Hugging Face, qui a tendance à planter fréquemment et ne supporte que certains modes d’entraînement. Il a donc développé son propre mécanisme pour effectuer régulièrement des contrôles et sauter les lots de données risquant de surcharger la mémoire GPU.
Il est essentiel de noter que, en réponse aux questions et critiques de la communauté de l’IA sur X, Morris a précisé qu’il ne prétend pas avoir récupéré les "poids" du modèle de base – les paramètres internes des neurones artificiels qui composent le réseau neuronal du modèle et en régissent le comportement.
En réalité, Morris affirme que son travail a "récupéré la distribution du modèle de base avec une certaine marge d’erreur", c’est-à-dire les modèles de probabilité que le modèle utilise pour générer des sorties – même si les poids produisant ces modèles peuvent différer.
Le nouveau modèle de base gpt-oss-20b se distingue par son comportement par rapport au gpt-oss-20b. Il est plus libre dans ses sorties, n’explique plus le raisonnement étape par étape par défaut et produit une gamme plus large de réponses, y compris des instructions que le modèle aligné d’OpenAI refuserait de donner, comme construire une arme, énumérer des obscénités ou planifier des activités illégales.
Dans des tests courts, Morris a constaté qu’il pouvait également reproduire textuellement des passages d’œuvres protégées par des droits d’auteur, montrant que certains matériaux mémorisés sont toujours accessibles. Cependant, des traces d’alignement subsistent.
Les réactions initiales à gpt-oss ont été mitigées. Certains ont salué la licence permissive, l’efficacité et les bons résultats sur les benchmarks STEM, tandis que d’autres ont critiqué le modèle pour son entraînement intensif sur des données synthétiques, le rendant excellent en mathématiques et en codage mais moins performant en écriture créative, en connaissances générales du monde et en raisonnement multilingue.
En conclusion, le travail de Morris sur le modèle de base gpt-oss-20b se démarque comme un exemple concret de la manière dont les modèles à poids ouverts peuvent être adaptés et réutilisés dans la nature, peu de temps après leur sortie. Contrairement à la réception de gpt-oss d’OpenAI, la plupart des réactions au travail de Morris sont chaleureuses et enthousiastes.
L’approche de Morris élimine une grande partie du comportement intégré par OpenAI et ramène le modèle à quelque chose de plus proche d’un système pré-entraîné brut – un changement précieux pour les chercheurs étudiant la mémorisation, les biais ou l’impact de l’alignement, mais qui comporte également des risques accrus en matière de sécurité. En outre, Morris indique que son travail sur la restauration de modèles de raisonnement à des modèles de base pré-entraînés et non raisonnants se poursuivra en comparant l’extraction sur des modèles instructifs non raisonnants comme ceux proposés par Qwen. Les bienfaits de la méditation sont nombreux et variés. En effet, cette pratique ancestrale permet de se recentrer sur soi-même, de retrouver un état de calme intérieur et de mieux gérer le stress du quotidien. De plus, la méditation favorise la concentration, la créativité et la gestion des émotions. Il a également été démontré que la méditation pouvait avoir des effets positifs sur la santé physique en réduisant la tension artérielle, en renforçant le système immunitaire et en améliorant la qualité du sommeil.
Pour commencer à méditer, il est recommandé de trouver un endroit calme et propice à la détente. Il est préférable de s’asseoir confortablement, le dos droit, les épaules détendues et les yeux fermés. On peut alors se concentrer sur sa respiration, en prenant conscience de l’air qui entre et qui sort de nos poumons. Il est tout à fait normal que l’esprit soit agité au début de la méditation, mais il est important de ne pas se laisser distraire et de revenir à sa respiration à chaque fois que l’on se rend compte que l’on est perdu dans ses pensées.
La méditation peut être pratiquée à tout moment de la journée, que ce soit le matin au réveil pour bien commencer la journée, à midi pour faire une pause relaxante ou le soir avant de se coucher pour favoriser un sommeil réparateur. Il est recommandé de méditer au moins quelques minutes chaque jour pour en ressentir les bienfaits, mais il est également possible de méditer plus longtemps pour approfondir sa pratique.
Il existe différentes formes de méditation, comme la méditation de pleine conscience, la méditation transcendantale ou la méditation guidée. Chacune de ces pratiques a ses spécificités et ses bienfaits, il est donc conseillé d’essayer plusieurs techniques pour trouver celle qui nous convient le mieux. Il est également possible de se faire accompagner par un enseignant de méditation pour progresser plus rapidement et éviter les erreurs courantes.
En conclusion, la méditation est une pratique bénéfique pour le bien-être physique et mental. En prenant quelques minutes chaque jour pour se recentrer sur soi-même, on peut améliorer sa qualité de vie et sa santé de manière significative. Il est donc recommandé d’intégrer la méditation dans sa routine quotidienne pour en ressentir tous les bienfaits.