Dans le paysage actuel de l’intelligence artificielle, deux types de modèles de séquence dominent : les modèles de prédiction de jetons suivants (comme ChatGPT) et les modèles de diffusion de séquence complète (comme Sora). Chacun possède ses forces et ses faiblesses. Les chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) ont développé une technique innovante appelée « Diffusion Forcing », qui combine les avantages de ces deux approches.
Qu’est-ce que la Diffusion Forcing ?
La Diffusion Forcing est une méthode d’entraînement qui :
- Nettoie une collection de jetons en éliminant différentes quantités de bruit.
- Prédit simultanément les prochains jetons.
Cette approche offre une flexibilité et une fiabilité accrues, permettant de générer des séquences de longueurs variables tout en étant conscient des états futurs souhaitables.
Applications et résultats impressionnants
- Robotique :
- Un bras robotique a réussi à échanger deux fruits jouets sur trois tapis circulaires, malgré des positions de départ aléatoires et des distractions visuelles.
- La méthode pourrait permettre aux robots d’ignorer les distractions visuelles et d’accomplir des tâches complexes.
- Génération de vidéos :
- À partir d’une seule image, la méthode a produit des vidéos plus stables et de meilleure résolution que les approches existantes.
- Tests réalisés sur le jeu « Minecraft » et des environnements numériques du simulateur DeepMind Lab de Google.
- Planification de mouvements :
- Diffusion Forcing a surpassé six méthodes de base dans la résolution de labyrinthes 2D, générant des plans plus rapides vers l’objectif.
Implications futures
- Modèle du monde :
- Potentiel de créer un système d’IA capable de simuler la dynamique du monde en se formant sur des milliards de vidéos internet.
- Permettrait aux robots d’accomplir de nouvelles tâches en imaginant les actions nécessaires.
- Cerveau robotique :
- L’équipe travaille sur un système similaire à ChatGPT pour aider les robots à accomplir des tâches dans de nouveaux environnements sans démonstration humaine.
- Rapprochement entre génération de vidéos et robotique :
- Objectif d’utiliser les connaissances des vidéos en ligne pour améliorer les capacités des robots dans la vie quotidienne.
Défis et perspectives
Malgré ces avancées prometteuses, de nombreux défis restent à relever :
- Comment les robots peuvent-ils apprendre à imiter les humains en les observant, malgré les différences physiques ?
- Comment étendre la méthode à des ensembles de données plus importants et aux modèles de transformateurs les plus récents ?
L’équipe de recherche, dirigée par Vincent Sitzmann et comprenant des chercheurs du MIT et d’autres institutions, présentera ses travaux à la conférence NeurIPS en décembre. Cette recherche, soutenue par diverses organisations, ouvre de nouvelles perspectives passionnantes dans le domaine de l’IA et de la robotique.
