从零复现 gr00t17-lerobot-libero_goal-640:20,000 步微调 GR00T N1.7 的完整训练管线指南
发布时间:2026/8/19 18:03:34 作者:尧图编辑部 阅读量:1,286

从零复现 gr00t17-lerobot-libero_goal-64020,000 步微调 GR00T N1.7 的完整训练管线指南【免费下载链接】gr00t17-lerobot-libero_goal-640项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/gr00t17-lerobot-libero_goal-640想亲手复现 NVIDIA 的 GR00T N1.7 机器人大模型微调这篇GR00T N1.7 微调完整指南将带你从零走通 gr00t17-lerobot-libero_goal-640 的训练管线从环境搭建、仓库克隆到 20,000 步微调 LIBERO Goal 任务的参数解析与命令启动全程基于仓库内真实配置新手也能照抄作业。gr00t17-lerobot-libero_goal-640 是什么简单说这是一个基于 LeRobot 框架训练并发布的GR00T N1.7 微调模型仓库镜像自 NVIDIA。GR00T N1.7 是 NVIDIA 开源的跨本体cross-embodiment人形机器人基础模型采用 Cosmos-Reason2/Qwen3-VL 视觉语言主干 流匹配动作 Transformerflow-matching action transformer根据视觉、语言和本体感受预测机器人动作。本仓库则是在LIBERO Goal 基准数据集上用 20,000 步训练出的微调版本仓库核心文件包括文件作用model.safetensors微调后的模型权重config.json模型结构与微调策略配置train_config.json完整训练配置数据集、优化器、调度器等policy_preprocessor.json输入预处理管线定义policy_postprocessor.json动作输出后处理管线定义README.md模型卡与使用说明复现前准备安装 LeRobot 并克隆仓库训练与推理都依赖 LeRobot本模型基于 0.6.1 版本。建议使用官方提供的 GPU 镜像huggingface/lerobot-gpu:latest可省去大量依赖安装时间。克隆本仓库git clone https://gitcode.com/hf_mirrors/nvidia/gr00t17-lerobot-libero_goal-640克隆后你会在目录中看到上文表格中的文件其中train_config.json是复现训练的关键——它记录了本次微调的全部超参数。看懂训练配置20,000 步微调核心参数解析打开train_config.json你会发现这是一份开箱即用的完整配置。下面拆解几个最关键的部分。数据集与任务定义本次微调使用 LIBERO Goal 数据集不含 no-op 动作的 1.0.0 版数据集IPEC-COMMUNITY/libero_goal_no_noops_1.0.0_lerobot任务类型LIBERO Goal 长程操作任务数据增强启用了 color jitter亮度 0.7~1.3、对比度 0.6~1.4、饱和度 0.5~1.5 等增强泛化能力样本平衡同时启用了数据集与轨迹级权重平衡balance_dataset_weights/balance_trajectory_weights输入输出特征模型的眼睛与手脚从config.json可以看到模型消费的特征特征类型形状observation.images.wrist_image腕部相机图像(256, 256, 3)observation.images.image主相机图像(256, 256, 3)observation.state机器人状态(8,)action输出动作(7,)训练时以 1 步观测预测 16 步动作n_obs_steps1n_action_steps16图像统一缩放到 256×256。后处理阶段通过policy_postprocessor.json中的 libero 专用解码对夹爪动作做二值化处理适配 LIBERO 仿真环境。微调策略哪些模块被解锁这是 GR00T 微调的核心精髓。在 3B 参数基础模型nvidia/GR00T-N1.7-3B之上本次只解锁了部分模块模块是否微调大语言模型LLM否视觉编码器Visual否投影器Projector是流匹配扩散模型是VLLN视觉语言定位网络是也就是说20,000 步微调主要训练投影器、扩散模型与 VLLN冻结 LLM 和视觉主干。这样既大幅降低显存与训练成本又能保留基础模型的通用能力属于典型的高效微调方案未使用 LoRAuse_peftfalse。优化器与学习率设置{ optimizer: adamw, lr: 0.0001, weight_decay: 1e-05, grad_clip_norm: 1.0, scheduler: cosine, num_warmup_steps: 1000 }优化器AdamW学习率 1e-4权重衰减 1e-5调度器cosine 余弦退火前 1000 步预热全局批大小320实际布局为 2×320即每卡 320 的并行策略随机种子42确保可复现精度bf16 混合精度use_bf16true步数20000 步每 1000 步保存一次检查点一键启动训练lerobot-train 命令详解环境就绪后复现训练只需一条命令。参照README.md中的标准写法lerobot-train \ --dataset.repo_id${HF_USER}/dataset \ --policy.typegroot \ --output_diroutputs/train/policy_repo_id \ --job_namelerobot_training \ --policy.devicecuda \ --policy.repo_id${HF_USER}/policy_repo_id \ --wandb.enabletrue如果你希望严格复现本仓库的训练可以直接以train_config.json为基准把其中的output_dir/checkpoints/gr00t-n17-libero-oss-h16-adamw-gbs640-20k-...、数据集路径等替换为你本机的实际路径即可。训练会以save_freq1000的频率把检查点写入outputs/train/policy_repo_id/checkpoints/目录。提示训练命令中--wandb.enabletrue会开启 Weights Biases 在线监控方便实时观察 loss 曲线不需要可改为false。训练过程监控与检查点管理日志频率每 10 步输出一次训练日志log_freq10保存频率每 1000 步保存一个检查点save_freq1000训练 20,000 步共产生约 20 个检查点恢复训练配置中resumefalse如训练中断可将train_config.json中的resume改为true并从最近检查点继续部署验证用 lerobot-rollout 运行策略训练完成后或直接使用本仓库权重可以在仿真环境中验证策略表现。参照README.md的 rollout 命令lerobot-rollout \ --strategy.typebase \ --robot.typeyour_robot_type \ --robot.portyour_robot_port \ --robot.cameras{ camera_1: {type: opencv, index_or_path: index_or_path, width: 640, height: 480, fps: 30}, camera_2: {type: opencv, index_or_path: index_or_path, width: 640, height: 480, fps: 30}} \ --policy.pathnvidia/gr00t17-lerobot-libero_goal-640 \ --taskyour_task_description \ --duration60注意相机名称必须与训练时的观测键一致wrist_image与image否则推理会报错。--strategy.typebase表示不录制回合策略会持续运行直到达到指定时长。常见问题与调优建议1. 显存不够怎么办20,000 步微调使用 bf16 且冻结 LLM 与视觉编码器显存压力已大幅降低。若仍不足可调小全局批大小train_config.json中的batch_size或开启 LoRAuse_pefttrue、设置lora_rank。2. 想微调其他任务只需替换数据集为你的 LeRobot 格式数据集并保持输入输出特征形状一致双相机 8 维状态 7 维动作。若任务不同请同步修改policy_postprocessor.json中的动作解码配置。3. 如何提升成功率优先关注数据质量与平衡本仓库启用了轨迹级权重平衡其次是图像增强强度。推理时也可以调整num_inference_timesteps当前为 4在速度与精度间权衡。4. 如何查看完整超参所有超参都在仓库的train_config.json与config.json中预处理/后处理细节分别见policy_preprocessor.json与policy_postprocessor.json配合README.md一起阅读即可完全复现这条GR00T N1.7 微调训练管线。从克隆仓库到 20,000 步训练完成整个流程并不复杂——关键是把train_config.json里的每项参数吃透。现在就去试试吧祝你一次跑通【免费下载链接】gr00t17-lerobot-libero_goal-640项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/gr00t17-lerobot-libero_goal-640创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考