Робот под управлением модели GEN‑1.5 использовал банан вместо щётки

• GEN‑1.5 обучает роботов по одной демонстрации
• Модель использует мультимодальные данные для управления
• Робот заменил щётку бананом, собрав кубики
• Тесты подтверждают гибкость и импровизацию системы

Компания Generalist AI, базирующаяся в США, анонсировала разработку мультимодальной фундаментальной модели под названием GEN‑1.5. Эта модель предназначена для управления роботами и отличается способностью осваивать новые физические действия после одной короткой демонстрации, помещённой в контекстное окно, либо после небольшой донастройки градиентным методом за один‑единственный или несколько шагов.

Как работает GEN‑1.5

GEN‑1.5 объединяет визуальные, текстовые и сенсорные данные, позволяя системе «видеть» и «понимать» окружающую среду в режиме реального времени. При подаче в контекстное окно короткой видеодемонстрации нового действия модель формирует внутреннее представление задачи и генерирует управляющие сигналы для исполнительных механизмов робота. При необходимости модель может быть дополнительно донастроена с помощью градиентного метода, что требует лишь нескольких итераций и небольшого объёма данных.

Тестирование и результаты

Во время серии лабораторных испытаний робот, управляемый GEN‑1.5, продемонстрировал способность к импровизации. В одном из сценариев перед роботом была поставлена задача собрать набор кубиков и разместить их в чаше. Обычной щёткой, предназначенной для подхвата мелких предметов, робот не смог воспользоваться, поскольку она была недоступна. Модель быстро переоценила ситуацию и предложила альтернативу – использовать банан, лежащий рядом, как импровизированный инструмент.

Робот успешно заменил щётку бананом, собрал все кубики и перенёс их в чашу, продемонстрировав тем самым гибкость и адаптивность поведения, характерные для более продвинутых форм искусственного интеллекта. Этот эксперимент подтверждает, что GEN‑1.5 может не только копировать продемонстрированные действия, но и находить творческие решения в новых условиях.

Подобные возможности открывают перспективы для применения в реальных промышленных и сервисных задачах, где условия часто меняются, а доступные инструменты могут быть ограничены. Способность робота быстро адаптироваться без длительного переобучения снижает затраты на программирование и повышает эффективность автоматизации.

Разработчики подчёркивают, что модель остаётся фундаментальной и может быть интегрирована в различные робототехнические платформы. Планируется дальнейшее расширение возможностей GEN‑1.5, включая более сложные манипуляции и работу в условиях ограниченной визуальной информации.

Подробное описание модели и результатов испытаний опубликовано в официальном блоге Generalist AI, где также представлены технические детали архитектуры и примеры применения в других сценариях.

Источник: N+1