Un robot alimenté par le modèle GEN‑1.5 a utilisé une banane au lieu d'un pinceau

• GEN‑1.5 forme des robots à partir d'une seule démonstration
• Le modèle utilise des données multimodales pour le contrôle
• Le robot a remplacé la brosse par une banane, en rassemblant des cubes
• Les tests confirment la flexibilité et l'improvisation du système

La société Generalist AI, basée aux États-Unis, a annoncé le développement d'un modèle fondamental multimodal appelé GEN‑1.5. Ce modèle est conçu pour contrôler des robots et se distingue par sa capacité à maîtriser de nouvelles actions physiques après une courte démonstration, placée dans une fenêtre contextuelle, ou après un léger ajustement par méthode de gradient en une seule ou plusieurs étapes.

Comment fonctionne GEN‑1.5

GEN‑1.5 combine des données visuelles, textuelles et sensorielles, permettant au système de « voir » et de « comprendre » l'environnement en temps réel. Lorsqu'une courte démonstration vidéo de la nouvelle action est présentée dans la fenêtre contextuelle, le modèle forme une représentation interne de la tâche et génère des signaux de contrôle pour les mécanismes d'exécution du robot. Si nécessaire, le modèle peut être affiné davantage à l'aide d'une méthode de gradient, ce qui nécessite seulement quelques itérations et un petit volume de données.

Tests et résultats

Lors d'une série d'essais en laboratoire, le robot contrôlé par GEN‑1.5 a démontré sa capacité à improviser. Dans l'un des scénarios, le robot avait pour tâche de rassembler un ensemble de cubes et de les placer dans un bol. Il n'a pas pu utiliser une brosse ordinaire, conçue pour saisir de petits objets, car elle n'était pas disponible. Le modèle a rapidement réévalué la situation et a proposé une alternative : utiliser une banane, posée à proximité, comme outil improvisé.

Le robot a réussi à remplacer la brosse par une banane, a ramassé tous les cubes et les a transférés dans le bol, démontrant ainsi la flexibilité et l'adaptabilité du comportement, caractéristiques des formes d'intelligence artificielle plus avancées. Cet expérience confirme que GEN‑1.5 peut non seulement copier les actions démontrées, mais aussi trouver des solutions créatives dans de nouvelles conditions.

De telles capacités ouvrent des perspectives pour des applications dans des tâches industrielles et de service réelles, où les conditions changent souvent et les outils disponibles peuvent être limités. La capacité du robot à s'adapter rapidement sans réentraînement prolongé réduit les coûts de programmation et augmente l'efficacité de l'automatisation.

Les développeurs soulignent que le modèle reste fondamental et peut être intégré dans diverses plateformes robotiques. Une expansion supplémentaire des capacités de GEN‑1.5 est prévue, y compris des manipulations plus complexes et un travail dans des conditions d'information visuelle limitée.

Une description détaillée du modèle et des résultats des tests a été publiée sur le blog officiel de Generalist AI, où des détails techniques sur l'architecture et des exemples d'application dans d'autres scénarios sont également présentés.

Source : N+1