研究团队让真实双臂机器人抓取绳子、螺丝、遥控器等物体,并完成积木对齐。原始 Qwen3.8-27B 在 30 次试验中一次都没成功,只在 LIBERO 仿真里训练过的版本成功了 7 次,再加入 RoboDojo 仿真训练后成功了 18 次。后训练未使用真机数据,结果展示了仿真中学到的部分操作能力可以迁移到真实硬件。

论文 Training Reasoning Models in Simulation to Natively Use Real Robots 由 Jiaming Tang、Zhuoyang Zhang、Junxian Guo、宋韩等人于 2026 年 11 月 13 日提交至 arXiv。论文原文 · PDF · 实机视频 · 代码 · 权重

模型每次只决定机械臂下一步怎么走

模型读取多路相机画面和机械臂状态,结合任务指令与先前的操作记录,输出夹爪下一步的位置和朝向变化。逆运动学将目标位姿换算为关节角,再由底层控制器执行。模型根据执行后的新画面决定下一步,可以在后续回合修正动作偏差。

PEAR 是团队开发的后训练基础设施。仿真器只在任务结束时给出成功或失败的奖励,训练不使用人类遥操作演示。团队先选基础模型偶尔能完成的任务,再引入长程任务和双臂任务。如果模型从未成功,二元奖励就很难提供学习信号。论文 §3

真正值得看的是「场景一样,任务换了」

测试 Qwen3.8-27B-PEAR 对照结果
LIBERO 标准仿真任务 74.4% 原始千问 1.6%,GPT-6 Astra max 76.2%,π₀.₅ 96.9%
LIBERO-Pro:场景不变,换一条任务指令 57.4% π₀.₅ 0.75%
LIBERO-Pro:指令不变,交换物体位置 57.5% π₀.₅ 20.8%
双臂 YAM 真机:抓取与积木对齐 18/30 原始千问 0/30,仅做 LIBERO 后训练 7/30

标准题上,π₀.₅ 的成功率更高。但当桌面布置保持原样、只改变指令时,论文观察到 π₀.₅ 倾向于执行它曾在该场景学到的任务,PEAR 更常跟随新指令。要测试机器人是否理解指令,可以在同一个场景里换目标,检查动作是否跟着变。与 GPT-6 Astra 的接近表现对应的是 LIBERO 特定评测配置,PEAR 使用 xhigh 推理档位。论文 §4 与附录 C

真机的 30 次试验包括 20 次物体抓取和 10 次积木对齐。最终模型此前已在仿真里训练过这两类任务,真机试验检验的是硬件和环境迁移。作者项目页公开了逐次试验视频,可以同时查看成功和失败的样本。作者项目页

单张 RTX 5090 能跑到什么程度?

作者使用 NVFP4 量化权重、DFlash2 推测解码和优化内核,在单张 RTX 5090 上测得每秒 221 个 token 的解码速度。论文的任务成功率评测使用 BF16 权重,作者报告量化会降低准确率。221 tokens/s 与 74.4% 来自不同配置,解码速度也只覆盖机器人完成一次动作所需时间的一部分。

在论文测试的 GB300 上,xhigh 档平均每轮推理约需 4.3 秒。把同一模型切到较低推理档位后,LIBERO 成功率从 74.4% 降到 21.9%。对实验室而言,这意味着评估同一操作系统时,值得同时记录指令变化下的成功率、任务耗时,以及失败发生在识别、决策还是执行环节。论文 §4.6 与 §5

将入围名单转化为决定

写下任务、操作条件、成功标准和总拥有成本。请入围供应商展示您的代表性任务,包括故障恢复。对每个候选人使用相同的验收测试。

探索完整的机器人目录 →