Le système Legogpt fonctionne en trois parties, illustré dans ce diagramme.
Crédit: Pun et al.
Les chercheurs ont également élargi les capacités du système en ajoutant des options de texture et de couleur. Par exemple, en utilisant une invite d’apparence comme « Guitare électrique dans Metallic Purple », Legogpt peut générer un modèle de guitare, avec des briques attribuées d’une couleur violette.
Test avec des robots et des humains
Pour prouver que leurs conceptions ont travaillé dans la vraie vie, les chercheurs ont fait assembler les robots les modèles LEGO créés par AI. Ils ont utilisé un système de bras à double robot avec des capteurs de force pour ramasser et placer des briques en fonction des instructions générées par l’AI.
Les testeurs humains ont également construit certains des conceptions à la main, montrant que l’IA crée des modèles véritablement construits. « Nos expériences montrent que Legogpt produit des conceptions LEGO stables, diverses et esthétiques qui s’alignent étroitement avec les invites de texte d’entrée », a noté l’équipe dans son article.
Lorsqu’il est testé contre d’autres systèmes d’IA pour la création 3D, Legogpt se démarque par son accent sur l’intégrité structurelle. L’équipe a testé contre plusieurs alternatives, notamment LLAMA-Mesh et d’autres modèles de génération 3D, et a constaté que son approche produisait le pourcentage le plus élevé de structures stables.
Une vidéo de deux armes de robot construisant une création de legogpt, fournie par les chercheurs.
Pourtant, il y a certaines limites. La version actuelle de Legogpt ne fonctionne que dans un espace de construction de 20 × 20 × 20 et utilise seulement huit types de brique standard. « Notre méthode prend actuellement en charge un ensemble fixe de briques LEGO couramment utilisées », a reconnu l’équipe. « Dans les travaux futurs, nous prévoyons d’étendre la bibliothèque en brique pour inclure un éventail plus large de dimensions et de types de briques, tels que les pentes et les carreaux. »
Les chercheurs espèrent également augmenter leur ensemble de données de formation pour inclure plus d’objets que les 21 catégories actuellement disponibles. Pendant ce temps, d’autres peuvent littéralement s’appuyer sur leur travail – les chercheurs ont publié leur ensemble de données, leur code et leurs modèles sur le site Web de leur projet et GitHub.