Avec son système WorldGen, Meta déplace l’utilisation de l’IA générative pour les mondes 3D de la création d’images statiques à des actifs entièrement interactifs.
Le principal goulot d’étranglement dans la création d’expériences immersives de calcul spatial – que ce soit pour les jeux grand public, les jumeaux numériques industriels ou les simulations de formation des employés – a longtemps été le caractère intensif en main-d’œuvre de la modélisation 3D. La production d’un environnement interactif nécessite généralement des équipes d’artistes spécialisés travaillant pendant des semaines.
Selon un nouveau rapport technique des Reality Labs de Meta, WorldGen est capable de générer des mondes 3D traversables et interactifs à partir d’une simple instruction textuelle en environ cinq minutes.
Bien que la technologie soit actuellement de qualité recherche, l’architecture de WorldGen adresse des points douloureux spécifiques qui ont empêché l’IA générative d’être utile dans les flux de travail professionnels : l’interactivité fonctionnelle, la compatibilité du moteur et le contrôle éditorial.
Environnements générés par IA deviennent des mondes 3D vraiment interactifs
Le principal défaut de nombreux modèles existants de texte vers 3D est qu’ils privilégient la fidélité visuelle à la fonction. Des approches telles que le gaussian splatting créent des scènes photoréalistes qui impressionnent dans une vidéo mais manquent souvent de la structure physique sous-jacente nécessaire pour qu’un utilisateur interagisse avec l’environnement. Les actifs sans données de collision ou de physique de rampe ont peu ou pas de valeur pour la simulation ou les jeux.
WorldGen s’écarte de cette voie en privilégiant la « traversabilité ». Le système génère un maillage de navigation (navmesh) – un maillage polygonal simplifié qui définit les surfaces praticables – en plus de la géométrie visuelle. Cela garantit qu’une instruction telle que « village médiéval » produit non seulement une collection de maisons, mais aussi une disposition spatialement cohérente où les rues sont dégagées d’obstacles et les espaces ouverts sont accessibles.
Pour les entreprises, cette distinction est vitale. Un jumeau numérique d’un sol d’usine ou une simulation de formation à la sécurité pour des environnements dangereux nécessite des données de physique et de navigation valides.
L’approche de Meta garantit que la sortie est « prête pour le moteur de jeu », c’est-à-dire que les actifs peuvent être exportés directement vers des plateformes standard telles que Unity ou Unreal Engine. Cette compatibilité permet aux équipes techniques d’intégrer des flux de travail génératifs dans les pipelines existants sans avoir besoin de matériel de rendu spécialisé que d’autres méthodes, comme les champs de radiance, exigent souvent.
La ligne de production en quatre étapes de WorldGen
Les chercheurs de Meta ont structuré WorldGen comme une pipeline d’IA modulaire qui reflète les flux de travail traditionnels de développement pour la création de mondes 3D.
Le processus commence par la planification de la scène. Un LLM agit en tant qu’ingénieur structurel, analysant l’instruction textuelle de l’utilisateur pour générer une disposition logique. Il détermine l’emplacement des structures clés et des caractéristiques du terrain, produisant un « blockout » – un croquis 3D approximatif – qui garantit que la scène a un sens physique.
La phase de « reconstruction de la scène » construit la géométrie initiale. Le système conditionne la génération sur le navmesh, garantissant que lorsque l’IA « hallucine » des détails, elle ne place pas involontairement un rocher dans une porte ou ne bloque pas un chemin de sortie en cas d’incendie.
« La décomposition de la scène », la troisième étape, est peut-être la plus pertinente pour la flexibilité opérationnelle. Le système utilise une méthode appelée AutoPartGen pour identifier et séparer les objets individuels dans la scène – distinguant un arbre du sol, ou une caisse du sol de l’entrepôt.
Dans de nombreux modèles génératifs « à prise unique », la scène est une seule masse de géométrie fusionnée. En séparant les composants, WorldGen permet aux éditeurs humains de déplacer, supprimer ou modifier des actifs spécifiques post-génération sans casser le monde entier.
Pour la dernière étape, « amélioration de la scène » peaufine les actifs. Le système génère des textures haute résolution et affine la géométrie des objets individuels pour garantir que la qualité visuelle est maintenue lorsque l’on se rapproche.
Réalisme opérationnel de l’utilisation de l’IA générative pour créer des mondes 3D
La mise en œuvre de cette technologie nécessite une évaluation de l’infrastructure actuelle. Les sorties de WorldGen sont des maillages texturés standard. Ce choix évite le verrouillage du fournisseur associé aux techniques de rendu propriétaires. Cela signifie qu’une entreprise de logistique construisant un module de formation en réalité virtuelle pourrait théoriquement utiliser cet outil pour prototyper rapidement des agencements, puis les remettre à des développeurs humains pour les affiner.
La création d’une scène entièrement texturée et navigable prend environ cinq minutes sur un matériel adéquat. Pour les studios ou les départements habitués à des délais de plusieurs jours pour le blocage de base de l’environnement, ce gain d’efficacité est littéralement révolutionnaire.
Cependant, la technologie a ses limites. L’itération actuelle repose sur la génération d’une seule vue de référence, ce qui limite l’échelle des mondes qu’elle peut produire. Elle ne peut pas encore générer nativement des mondes ouverts étendus sur des kilomètres sans assembler plusieurs régions, ce qui risque de créer des incohérences visuelles.
Le système représente également actuellement chaque objet de manière indépendante sans réutilisation, ce qui pourrait entraîner des inefficacités de mémoire dans des scènes très grandes par rapport à des actifs optimisés manuellement où un seul modèle de chaise est répété cinquante fois. Les futures itérations visent à aborder les tailles de monde plus importantes et les latences plus faibles.
Comparaison de WorldGen par rapport à d’autres technologies émergentes
Évaluer cette approche par rapport à d’autres technologies émergentes d’IA pour la création de mondes 3D offre de la clarté. World Labs, un concurrent dans l’espace, utilise un système appelé Marble qui utilise des éclaboussures gaussiennes pour obtenir un haut degré de réalisme photographique. Bien que visuellement frappantes, ces scènes basées sur les éclaboussures perdent souvent en qualité lorsque la caméra s’éloigne du centre et peuvent chuter en fidélité à seulement 3-5 mètres du point de vue.
Le choix de Meta de produire une géométrie basée sur des maillages positionne WorldGen comme un outil pour le développement d’applications fonctionnelles plutôt que simplement pour la création de contenu visuel. Il prend en charge nativement la physique, les collisions et la navigation – des fonctionnalités non négociables pour les logiciels interactifs. Par conséquent, WorldGen peut générer des scènes couvrant 50×50 mètres tout en maintenant une intégrité géométrique.
Pour les leaders des secteurs technologique et créatif, l’arrivée de systèmes comme WorldGen apporte de nouvelles possibilités passionnantes. Les organisations devraient auditer leurs flux de travail 3D actuels pour identifier où le « blockout » et le prototypage absorbent le plus de ressources. Les outils génératifs sont mieux déployés ici pour accélérer l’itération, plutôt que de tenter de remplacer immédiatement la production de qualité finale.
Parallèlement, les artistes techniques et les concepteurs de niveaux devront passer de la disposition manuelle de chaque sommet à la demande et à la curation des sorties de l’IA. Les programmes de formation devraient se concentrer sur « l’ingénierie de l’instruction pour la disposition spatiale » et l’édition d’actifs générés par l’IA pour les mondes 3D. Enfin, bien que la sortie soit standard, le processus de génération nécessite beaucoup de calcul. L’évaluation des capacités de rendu sur site par rapport au cloud sera nécessaire pour l’adoption.
La 3D générative sert mieux en tant que multiplicateur de force pour la disposition structurelle et la population d’actifs plutôt que comme un remplacement total de la créativité humaine. En automatisant le travail fondamental de construction d’un monde, les équipes d’entreprise peuvent concentrer leur budget sur les interactions et la logique qui génèrent de la valeur commerciale.