NVIDIA发布Isaac GR00T

机器人需要借助大规模、发布高物理精度且多样化的发布数据集进行训练，才能在复杂环境中进行推理并完成多种任务，发布而目前这些数据难以公开获取。发布

在华盛顿特区举行的发布 NVIDIA GTC 大会上，NVIDIA 发布了基于NVIDIA Cosmos世界基础模型构建的发布IsaacGR00T-Dreams合成数据生成与神经仿真框架，可帮助机器人突破现实经验的发布局限进行学习。通过生成如虚拟世界状态与动作轨迹的发布“梦境”，开发者可为机器人生成不同环境下的发布训练数据与动作指令，使其掌握新技能。发布

传统合成数据生成方法需要开发者耗费大量精力构建虚拟环境，发布而 GR00T-Dreams 框架彻底改变了这一模式：仅需一张图片以及简单的发布自然语言指令，即可“构想”出全新的发布训练场景。

GR00T-Dreams 框架包含两种核心模式：

Passive dreaming模式能够自动生成多样化的发布机器人训练视频场景。开发者只需输入图像和指令，发布例如移动物体或在空间内导航，即可对类似NVIDIA Cosmos Predict等世界模型进行后训练。随后，GR00T-Dreams 仅需文本提示，即可“构想”生成多个合成序列，动态呈现机器人如何在新环境中完成各类任务，同时场景中的物体与背景可以完全通过文本提示进行更换。

Lucid dreaming模式作为一个响应式神经仿真器则更进一步。它可使 AI模型仅凭一张 2D 图像构建出完整的交互式虚拟世界，在这些环境中开发者可以远程精确控制机器人进行复杂机械动作，还可实时测试各种边缘场景。

场景生成后，GR00T-Dreams 会将其送入Cosmos Reason推理模型进行筛选，该模型能够过滤存在缺陷或质量较低的“不好的梦境”。经筛选保留的数据将形成连贯的动作轨迹，为 GR00T N 系列等视觉语言动作模型提供后训练支持。

这些模型集成了视觉感知、自然语言理解与物理控制系统，使机器人能够精准解析指令并在复杂环境中做出自主响应。