本机固定检查点的技术测评,完整图表、原片与复现包见主站:https://cherryquant.com/2026/11/21/rtx3060-vqbet-local-review-20261121/。仿真与离线推理的范围分别列明。

模型介绍

VQ-BeT 先把连续动作映射到离散潜在代码,再结合动作偏移进行行为生成。本次采用在 PushT 上训练的公开检查点,与 Diffusion Policy 使用相同的仿真任务和测试种子。比较只在这个共享任务范围内成立,不能据此判断所有机器人控制任务中的优劣。
这篇记录关注的问题是:离散动作表示的策略,在同一组 PushT 初始条件下能否获得更合适的速度与完成率组合? 这里先说明模型和输入输出,再交代同一台服务器的环境,最后展开实际结果。
检查点输入/输出
原始形状
observation.image
[3, 96, 96]
observation.state
[2]
action
[2]
实际加载后的参数精度分布:float32,37.5M参数。这里包含冻结参数,不能当作训练时的可更新参数量。

本地硬件与部署环境

项目
本机环境
GPU
NVIDIA RTX 3060,12GB 显存
CPU
Ryzen 9 5900X,12核24线程
内存
约48GB,系统显示约46GiB
系统 / 驱动
Ubuntu 24.04 / NVIDIA 580.178.04
PyTorch
2.13.0+cu130
推理环境使用 LeRobot 0.7.0、Transformers 5.22.2。权重、依赖和测试数据都直接在服务器下载,优先使用清华 PyPI 镜像、ModelScope 同校验值文件及国内 HF 访问入口。模型固定在 revision
15c2d0af889c401c7e5db7a07499d3b498afc276
;大文件按来源清单核对 SHA-256,小配置核对 Git blob 指纹。来源与镜像对应关系随日志保存。
必要文件的逻辑大小约 0.16 GB,不能把这个数字当成显存需求。模型可能同时占用系统内存和显存,重复组件也可能被复用。下载与GPU测试可以并行,但GPU上的各模型按顺序运行。
这次没有使用云端推理服务,也没有把官方演示当成本机输出。测试过程中保留加载错误、兼容性修复和失败样例;下文中的结果只对应列出的配置。
环境为
gym_pusht/PushT-v0
,50回合,环境种子10000至10049,最多 300 步。成功判定直接读取环境的
is_success
,成功或到时限即终止。策略权重严格匹配,旧检查点的归一化缓冲区按原定义应用;没有用随机初始化参数补齐模型。

测评结果

50回合中成功
30 回合,成功率 60%
。Wilson 95%区间约
46.2%–72.4%
。区间较宽,单轮结果不能支持几个百分点的稳定优劣结论。
完整网络刷新调用的中位数为
5.495 ms
,P95为
6.224 ms
;缓存动作取出的中位数为
0.059 ms
。计时边界是CUDA同步后的
select_action
,不包含相机采集、输入整理和实机通信。缓存很快,不等于视觉网络以同样频率重新计算。
PyTorch峰值显存分配为
0.17 GiB
,进程峰值RSS为
1.94 GiB
。PyTorch口径不含MuJoCo渲染器及桌面的显存。
回合 0:成功,133 步
环境种子 10000,最高奖励 1。展示按回合编号连续选取的前六段轨迹,保留成功与失败,不只挑选好看的结果。
查看本回合原始仿真录像 https://cherryquant.com/wp-content/uploads/2026/11/rtx3060-vqbet-local-review-20261121-episode00.mp4
回合 1:成功,146 步
环境种子 10001,最高奖励 1。展示按回合编号连续选取的前六段轨迹,保留成功与失败,不只挑选好看的结果。
回合 2:成功,103 步
环境种子 10002,最高奖励 1。展示按回合编号连续选取的前六段轨迹,保留成功与失败,不只挑选好看的结果。
回合 3:成功,146 步
环境种子 10003,最高奖励 1。展示按回合编号连续选取的前六段轨迹,保留成功与失败,不只挑选好看的结果。
回合 4:未完成,300 步
环境种子 10004,最高奖励 0.649714。展示按回合编号连续选取的前六段轨迹,保留成功与失败,不只挑选好看的结果。
查看本回合原始仿真录像 https://cherryquant.com/wp-content/uploads/2026/11/rtx3060-vqbet-local-review-20261121-episode04.mp4
回合 5:未完成,300 步
环境种子 10005,最高奖励 0.991952。展示按回合编号连续选取的前六段轨迹,保留成功与失败,不只挑选好看的结果。
从画面与日志里看到的细节
VQ-BeT在这组50回合里成功30回合,完整网络刷新中位数约5.50毫秒,P95约6.22毫秒;缓存动作中位数约0.059毫秒。较短的网络调用不等于更高的任务完成率,本轮两个指标需要分开阅读。
它与Diffusion Policy共享PushT环境、300步上限及10000至10049的环境种子,但也有相反结果的具体案例:种子10001下VQ-BeT成功,Diffusion未完成;种子10004则是Diffusion成功、VQ-BeT未完成。只挑其中一个案例,就能讲出相反的故事,因此正文同时保留连续前六回合与全部50回合的计数。
第5回合的最高归一化奖励约0.992,看起来可能已经很接近目标,仍未达到环境的成功判定。图中的动作序列是控制器输出的目标指令,不是测得的推手实际位置,也不是各关节的反馈跟踪误差。
部署时遇到一个版本兼容问题:下载配置里的mlp_hidden_dim字段已不在新版配置类中。核对训练提交的模型实现后,没有发现该字段参与网络构建;因此只在prepared目录复制适配配置,保留原始文件,并继续要求所有网络权重strict=True匹配。没有用随机权重补齐模型,也没有把解析报错误当成模型性能差。
这份约37.5M参数的策略在本机资源开销很小,适合作为低延迟模仿学习策略的具体研究对象。但60%的这轮完成率、较宽的置信区间和单一仿真任务,都不支持通用机器人能力的结论。
这次结果能支持什么
这项结果只对应这个已训练检查点和匹配的仿真任务。没有在实机上测试接触力、通信时延、安全停止或相机偏移,不能据此宣布可以直接接管任意机器人。ACT的双臂任务也不能与PushT的成功率混成一个总排名。
共同任务下对比成功、失败轨迹和全网络调用;动作维度与任务不同的 ACT 不放进同一成功率排名。

复现与来源

下载测试脚本、固定版本清单与原始结果(ZIP) https://cherryquant.com/wp-content/uploads/2026/11/rtx3060-vqbet-local-review-20261121-rtx3060-vqbet-local-review-20261121-reproduction.zip
包内不含模型权重或账号信息;路径脱敏说明、环境快照与重跑步骤见README。
本次使用服务器上的固定检查点与隔离环境。查看状态和重跑的入口如下;具体采样参数、原始种子及计时边界已在上文列出。
python scripts/status.py
./envs/robotics/bin/python scripts/benchmark_robotics.py vqbet
项目/文档来源 1 https://huggingface.co/lerobot/vqbet_pusht
项目/文档来源 2 https://arxiv.org/abs/2403.03181
本文根据本机测试日志撰写,使用AI辅助整理与制图。官方模型页、示意图、真实数据观测和本机生成结果分别标注。

将入围名单转化为决定

写下任务、操作条件、成功标准和总拥有成本。请入围供应商展示您的代表性任务,包括故障恢复。对每个候选人使用相同的验收测试。

探索完整的机器人目录 →