Ein Roboter, der vom GEN‑1.5-Modell betrieben wird, verwendete eine Banane anstelle eines Pinsels
- GEN‑1.5 trainiert Roboter mit einer einzigen Demonstration
- Das Modell verwendet multimodale Daten zur Steuerung
- Der Roboter hat die Bürste durch eine Banane ersetzt und dabei Würfel gesammelt
- Tests bestätigen die Flexibilität und Improvisation der Systeme
Das in den USA ansässige Unternehmen Generalist AI hat die Entwicklung eines multimodalen Grundmodells mit dem Namen GEN‑1.5 angekündigt. Dieses Modell ist für die Steuerung von Robotern konzipiert und zeichnet sich durch die Fähigkeit aus, neue physische Aktionen nach einer kurzen Demonstration, die in ein Kontextfenster eingefügt wurde, oder nach einer kleinen Feinabstimmung mit der Gradientenmethode in einem einzigen oder mehreren Schritten zu erlernen.
Wie GEN‑1.5 funktioniert
GEN‑1.5 kombiniert visuelle, textuelle und sensorische Daten, sodass das System die Umgebung in Echtzeit "sehen" und "verstehen" kann. Wenn ein kurzes Video eines neuen Actions in das Kontextfenster eingegeben wird, bildet das Modell eine interne Vorstellung der Aufgabe und generiert Steuersignale für die Aktuatoren des Roboters. Bei Bedarf kann das Modell zusätzlich mit einer Gradientenmethode feinjustiert werden, was nur wenige Iterationen und eine kleine Datenmenge erfordert.
Tests und Ergebnisse
Während einer Reihe von Laborversuchen zeigte der von GEN‑1.5 gesteuerte Roboter die Fähigkeit zur Improvisation. In einem der Szenarien wurde dem Roboter die Aufgabe gestellt, einen Satz Würfel zu sammeln und sie in einer Schüssel zu platzieren. Mit einer gewöhnlichen Bürste, die für das Aufnehmen kleiner Gegenstände gedacht war, konnte der Roboter nicht arbeiten, da sie nicht verfügbar war. Das Modell bewertete die Situation schnell neu und schlug eine Alternative vor – die Verwendung einer daneben liegenden Banane als improvisiertes Werkzeug.
Der Roboter hat erfolgreich die Bürste durch eine Banane ersetzt, alle Würfel gesammelt und sie in die Schüssel übertragen, wodurch er die Flexibilität und Anpassungsfähigkeit des Verhaltens demonstriert hat, die für fortgeschrittenere Formen künstlicher Intelligenz charakteristisch sind. Dieses Experiment bestätigt, dass GEN‑1.5 nicht nur die demonstrierten Aktionen kopieren, sondern auch kreative Lösungen unter neuen Bedingungen finden kann.
Solche Möglichkeiten eröffnen Perspektiven für den Einsatz in realen industriellen und Dienstleistungsaufgaben, bei denen sich die Bedingungen häufig ändern und die verfügbaren Werkzeuge begrenzt sein können. Die Fähigkeit des Roboters, sich schnell ohne langwieriges Re-Training anzupassen, senkt die Programmierungskosten und erhöht die Effizienz der Automatisierung.
Die Entwickler betonen, dass das Modell grundlegend bleibt und in verschiedene robotergestützte Plattformen integriert werden kann. Eine weitere Erweiterung der Möglichkeiten von GEN‑1.5 ist geplant, einschließlich komplexerer Manipulationen und der Arbeit unter Bedingungen mit eingeschränkten visuellen Informationen.
Eine detaillierte Beschreibung des Modells und der Testergebnisse wurde im offiziellen Blog von Generalist AI veröffentlicht, wo auch technische Details zur Architektur und Anwendungsbeispiele in anderen Szenarien präsentiert werden.
Quelle: N+1
