Robot zasilany modelem GEN‑1.5 użył banana zamiast pędzla

• GEN‑1.5 uczy roboty na podstawie jednej demonstracji
• Model wykorzystuje dane multimodalne do sterowania
• Robot zastąpił szczotkę bananem, zbierając klocki
• Testy potwierdzają elastyczność i improwizację systemu

Firma Generalist AI, z siedzibą w USA, ogłosiła rozwój multimodalnego modelu podstawowego o nazwie GEN‑1.5. Model ten jest przeznaczony do sterowania robotami i wyróżnia się zdolnością do opanowywania nowych fizycznych działań po jednej krótkiej demonstracji umieszczonej w oknie kontekstowym lub po niewielkiej regulacji metodą gradientową w jednym lub kilku krokach.

Jak działa GEN‑1.5

GEN‑1.5 łączy dane wizualne, tekstowe i sensoryczne, pozwalając systemowi „widzieć” i „rozumieć” otoczenie w czasie rzeczywistym. Po wprowadzeniu do okna kontekstowego krótkiej demonstracji wideo nowej akcji, model formuje wewnętrzną reprezentację zadania i generuje sygnały sterujące dla mechanizmów wykonawczych robota. W razie potrzeby model może być dodatkowo dostosowany za pomocą metody gradientowej, co wymaga jedynie kilku iteracji i niewielkiej ilości danych.

Testowanie i wyniki

Podczas serii testów laboratoryjnych robot sterowany przez GEN‑1.5 wykazał zdolność do improwizacji. W jednym ze scenariuszy przed robotem postawiono zadanie zebrania zestawu klocków i umieszczenia ich w misce. Robot nie mógł skorzystać z zwykłej szczotki przeznaczonej do podnoszenia małych przedmiotów, ponieważ była niedostępna. Model szybko przeanalizował sytuację i zaproponował alternatywę – użycie banana leżącego obok jako improwizowanego narzędzia.

Robot pomyślnie wymienił szczotkę na banana, zebrał wszystkie kostki i przeniósł je do miski, demonstrując tym samym elastyczność i adaptacyjność zachowania, charakterystyczne dla bardziej zaawansowanych form sztucznej inteligencji. Eksperyment ten potwierdza, że GEN‑1.5 może nie tylko kopiować zaprezentowane działania, ale także znajdować kreatywne rozwiązania w nowych warunkach.

Podobne możliwości otwierają perspektywy dla zastosowania w rzeczywistych zadaniach przemysłowych i serwisowych, gdzie warunki często się zmieniają, a dostępne narzędzia mogą być ograniczone. Zdolność robota do szybkiej adaptacji bez długotrwałego przeszkolenia obniża koszty programowania i zwiększa efektywność automatyzacji.

Programiści podkreślają, że model pozostaje fundamentalny i może być zintegrowany z różnymi platformami robotycznymi. Planowane jest dalsze rozszerzenie możliwości GEN‑1.5, w tym bardziej skomplikowane manipulacje i praca w warunkach ograniczonej informacji wizualnej.

Szczegółowy opis modelu i wyników testów został opublikowany na oficjalnym blogu Generalist AI, gdzie przedstawione są również szczegóły techniczne architektury oraz przykłady zastosowania w innych scenariuszach.

Źródło: N+1