一台由GEN‑1.5型号驱动的机器人用香蕉代替了刷子

• GEN‑1.5 通过一次演示训练机器人
• 该模型使用多模态数据进行控制
• 机器人用香蕉替代了刷子，收集了积木
• 测试确认了系统的灵活性和即兴发挥能力

总部位于美国的公司 Generalist AI 宣布开发名为 GEN‑1.5 的多模态基础模型。该模型旨在控制机器人，并具有在一次简短演示后掌握新物理动作的能力，演示被放置在上下文窗口中，或者在一次或几次步骤中通过小幅度的梯度调整进行微调。

GEN‑1.5是如何工作的

GEN‑1.5结合了视觉、文本和传感器数据，使系统能够实时“看见”和“理解”周围环境。当在上下文窗口中提供短视频演示新动作时，模型会形成任务的内部表示，并生成控制信号以驱动机器人的执行机制。如有必要，模型可以通过梯度方法进一步调整，这只需几次迭代和少量数据。

测试与结果

在一系列实验室测试中，由GEN‑1.5控制的机器人展示了即兴发挥的能力。在一个场景中，机器人被要求收集一组积木并将其放入碗中。由于常用的用于拾取小物件的刷子无法使用，机器人无法利用它。模型迅速重新评估了情况，并提出了替代方案——使用旁边的香蕉作为即兴工具。

机器人成功地用香蕉替换了刷子，收集了所有的立方体并将它们转移到碗中，从而展示了更高级人工智能形式所特有的灵活性和适应性。这项实验证实了GEN‑1.5不仅可以复制所展示的动作，还能在新条件下找到创造性的解决方案。

这样的能力为在实际工业和服务任务中的应用开辟了前景，这些任务的条件经常变化，而可用的工具可能受到限制。机器人快速适应的能力，无需长时间的再培训，降低了编程成本，提高了自动化的效率。

开发者强调，该模型仍然是基础性的，可以集成到各种机器人平台中。计划进一步扩展GEN‑1.5的功能，包括更复杂的操作和在有限视觉信息条件下的工作。

关于模型和测试结果的详细描述已在Generalist AI的官方博客上发布，其中还提供了架构的技术细节和在其他场景中的应用示例。

来源：N+1