概览
Isaac GR00T 的 N1.7 版本把视觉语言骨干与生成连续动作的网络结合,输入包括语言、相机观察和机器人状态,输出用于机器人任务的动作预测。它提供不同训练背景和任务的检查点,以及数据格式、推理、微调和部署说明。实际使用需要把模型预期的观察与动作定义映射到自己的机器人,不能仅凭自然语言指令就省略传感器、控制器和数据适配。
主要功能
- 使用视觉、语言与状态等多模态输入。
- 提供 N1.7 基础与任务微调检查点。
- 采用带额外模态描述的 LeRobot 数据格式。
- 提供示范数据上的开环推理示例。
- 支持面向具体机器人与任务的后训练。
- 提供服务端、客户端与导出部署路径。
要求、安装和快速入门
1. 按平台准备 GPU、CUDA 与 Python;默认 dGPU 路径使用 Python 3.12。
2. 执行 git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T。
3. 进入目录,按平台安装依赖并执行 uv sync --python 3.12。
4. 按说明获取 Cosmos-Reason2-2B 骨干的 Hugging Face 访问权限并完成认证。
5. 运行官方 standalone_inference_script.py,选择 nvidia/GR00T-N1.7-3B 与 demo_data/droid_sample,并使用对应 embodiment tag。
6. 先检查示例轨迹预测,再进入自有数据转换和微调流程。
2. 执行 git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T。
3. 进入目录,按平台安装依赖并执行 uv sync --python 3.12。
4. 按说明获取 Cosmos-Reason2-2B 骨干的 Hugging Face 访问权限并完成认证。
5. 运行官方 standalone_inference_script.py,选择 nvidia/GR00T-N1.7-3B 与 demo_data/droid_sample,并使用对应 embodiment tag。
6. 先检查示例轨迹预测,再进入自有数据转换和微调流程。
用法
机械臂任务可先对齐相机、关节或末端状态、动作坐标系与采样频率,制作带 modality.json 的示范数据。先在离线轨迹上比较预测动作,再进行模拟环境评估;接入实体机器人时从受控的小范围动作开始,并由现有控制系统限制速度和工作空间。基础模型与任务微调模型对应的 embodiment tag 必须匹配。
实施要点
开环动作预测良好不等于闭环任务已经成功。传感器延迟、控制频率与动作单位不一致都可能影响执行,因此模型评估、仿真和实体调试应分阶段记录结果。
实施要点
开环动作预测良好不等于闭环任务已经成功。传感器延迟、控制频率与动作单位不一致都可能影响执行,因此模型评估、仿真和实体调试应分阶段记录结果。
模型兼容性与使用场景
官方列出推理需要 16GB 以上显存,微调建议 40GB 以上;不同平台有独立 CUDA 与依赖组合。默认 dGPU 视频依赖还需匹配支持的 FFmpeg 版本,受限骨干需要额外访问授权。
许可证与风险说明
N1.7 主项目以 Apache-2.0 发布;下载的骨干模型、数据集和其他依赖还应核对各自访问条件与条款。