Un robot alimentato dal modello GEN‑1.5 ha usato una banana invece di un pennello

• GEN‑1.5 addestra i robot con una sola dimostrazione
• Il modello utilizza dati multimodali per il controllo
• Il robot ha sostituito la spazzola con una banana, raccogliendo i cubi
• I test confermano la flessibilità e l'improvvisazione del sistema

L'azienda Generalist AI, con sede negli Stati Uniti, ha annunciato lo sviluppo di un modello fondamentale multimodale chiamato GEN‑1.5. Questo modello è progettato per controllare i robot e si distingue per la capacità di apprendere nuove azioni fisiche dopo una breve dimostrazione, inserita in una finestra contestuale, oppure dopo una piccola messa a punto tramite metodo gradiente in un'unica o in più fasi.

Come funziona GEN‑1.5

GEN‑1.5 combina dati visivi, testuali e sensoriali, permettendo al sistema di "vedere" e "comprendere" l'ambiente circostante in tempo reale. Quando viene fornito nel contesto una breve dimostrazione video di una nuova azione, il modello forma una rappresentazione interna del compito e genera segnali di controllo per i meccanismi esecutivi del robot. Se necessario, il modello può essere ulteriormente ottimizzato utilizzando un metodo gradiente, che richiede solo poche iterazioni e un piccolo volume di dati.

Test e risultati

Durante una serie di prove di laboratorio, il robot controllato da GEN‑1.5 ha dimostrato capacità di improvvisazione. In uno degli scenari, al robot è stato chiesto di raccogliere un insieme di cubi e posizionarli in una ciotola. Non è stato in grado di utilizzare una normale scopa, progettata per raccogliere piccoli oggetti, poiché non era disponibile. Il modello ha rapidamente rivalutato la situazione e ha proposto un'alternativa: utilizzare una banana, che si trovava accanto, come strumento improvvisato.

Il robot ha sostituito con successo la spazzola con una banana, ha raccolto tutti i cubi e li ha trasferiti nella ciotola, dimostrando così la flessibilità e l'adattabilità del comportamento, caratteristiche delle forme più avanzate di intelligenza artificiale. Questo esperimento conferma che GEN‑1.5 può non solo copiare le azioni dimostrate, ma anche trovare soluzioni creative in nuove condizioni.

Queste capacità aprono prospettive per l'applicazione in compiti industriali e di servizio reali, dove le condizioni cambiano spesso e gli strumenti disponibili possono essere limitati. La capacità del robot di adattarsi rapidamente senza un lungo riaddestramento riduce i costi di programmazione e aumenta l'efficienza dell'automazione.

Gli sviluppatori sottolineano che il modello rimane fondamentale e può essere integrato in diverse piattaforme robotiche. È previsto un ulteriore ampliamento delle capacità di GEN‑1.5, comprese manovre più complesse e operazioni in condizioni di informazioni visive limitate.

Una descrizione dettagliata del modello e dei risultati dei test è pubblicata nel blog ufficiale di Generalist AI, dove sono anche presentati i dettagli tecnici dell'architettura e esempi di applicazione in altri scenari.

Fonte: N+1