SuperMimic：用一个可微世界模型扩展人形机器人全身控制中文译本

论文原文链接
论文标题：SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model
arXiv编号：arXiv:2610.28480
✅ PDF原文地址：https://arxiv.org/pdf/2610.28480
✅ 项目主页：https://supermimic.github.io
会议：CoRL 2026（Oral报告）
作者：Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz, Pieter Abbeel, Koushil Sreenath（加州大学伯克利分校）

中文完整翻译（专业直译，适合放进文档、WDTV资料）
SuperMimic：基于单个可微分世界模型实现人形机器人全身控制的规模化训练
摘要
对大规模人体动作数据集进行轨迹跟踪，已经成为实现具备丰富动作能力的通用人形机器人全身控制的主流路线。但是，当动作库规模扩大时，训练成本极高。现有的方案大多采用无模型强化学习：要么把大量单动作专家策略通过有损蒸馏合并为一个控制器，要么依靠大规模算力集群暴力训练一个通用策略。
SuperMimic 构建一个可微分世界模型，学习人形机器人共通的动力学规律，利用仿真器采集的状态转移数据完成模型拟合，把学习成本分摊到全部动作库。世界模型与跟踪策略在同一个循环内联合训练；通过短时“想象推演”，使用时间反向传播（BPTT）为策略提供解析梯度。快速的内部想象推演加上解析梯度，极大提升策略学习效率。
在单块GPU上训练3小时，SuperMimic的回报指标就超过了基线方案SONIC（在128块GPU上训练7天）。算力消耗降低1000倍以上；在129514条基准动作中，基线SONIC失败179条，SuperMimic单GPU训练3小时仅失败25条；双GPU训练9.8小时可以做到零失败。动作库规模从1小时扩充到264小时，世界模型预测误差保持稳定，达到目标回报所需的算力增长十分平缓。训练得到的策略可以直接部署到宇树G1真机，实现各类高难度杂技动作。SuperMimic解除了算力对人形全身控制规模化的限制，让我们可以研究动作跟踪的缩放定律。
关键词：人形机器人、全身控制、基于模型的强化学习
一、引言
人形机器人有望在专为人类设计的环境中作业，这就要求全身控制器可以覆盖多样化的人体动作：行走、舞蹈、蹲伏、失衡自恢复等。基于物理的动作模仿，就是训练强化学习策略去跟踪动捕参考动作片段。
现有方案的扩容思路分为两种：一是把大量独立动作专家蒸馏合并成一个控制器；二是在超大动作库上直接训练通用策略。两种方式都遵循同一个规律：动作样本越丰富，控制器能力越强。但代价是算力爆炸：当前顶尖的跟踪器SONIC，需要在128块GPU上训练约168小时，合计约21000 GPU小时。
虽然每个参考动作不一样，但都遵循同一套人形刚体混合动力学规律。无模型强化学习不会显式学习这套共通结构，只能在仿真器里反复采样、估算动作结果。动作库越大，算力需求同步上涨。
SuperMimic解决这个低效问题：从仿真器采集状态转移数据，学习一个可微分世界模型。在模型内部做短时想象推演，使用时间反向传播拿到解析梯度。一套动力学模型，给全部动捕动作分摊学习成本。
梯度来源于学习出来的世界模型，而不是对仿真器本身求导。因此SuperMimic兼容各类刚体仿真器，包括接触不光滑、本身不可微分的仿真引擎。
在单GPU上训练3小时，SuperMimic就超过SONIC的归一化回报指标，算力下降1000倍以上。在129514条动作基准集上，单GPU训练3小时失败25条；双GPU训练9.8小时零失败，而SONIC失败179条。数据集扩大264倍，世界模型预测误差稳定，达到目标回报的算力增长缓慢。训练好的策略可以直接迁移到宇树G1实体机器人。下游任务实验显示：基于强化学习训练的速度编码器，效果优于蒸馏方案。
本文贡献点
面向可部署人形机器人控制的基于模型强化学习：证明通过可微分世界模型+时间反向传播，可以训练全身跟踪策略，并且策略能够成功迁移到宇树G1真机（该领域长期由PPO无模型方案主导）。
算力不再是规模化瓶颈：单GPU训练效果超越集群规模的PPO流水线SONIC，算力降低1000倍以上；动作库扩容时训练成本增长平缓，不需要巨型GPU集群也能做大模型动作库。
拆解算力下降的核心要素：三个关键特性：①动作库扩容264倍，模型预测误差依然稳定；②模型内部推演速度比仿真器快10倍以上；③解析梯度，达成同等效果所需的想象步数减少约64倍。
基于强化学习的下游控制接口，不限于蒸馏路线：同一个世界模型，可以针对下游任务奖励，直接训练目标编码器。在速度指令跟踪任务上，该编码器精度优于蒸馏基线。
二、相关工作
大规模物理动作跟踪：基于物理的动作模仿，学习控制器复现参考动作。DeepMimic最早用无模型强化学习实现丰富角色动作；PHC拓展到大动作库，提升失衡恢复能力；SONIC进一步证明，扩大动作数据、策略容量与训练算力，可以得到能迁移到真机的通用控制器。
这些方案验证了动作跟踪是人形机器人获得全身行为的可行路线，但大规模训练需要海量仿真采样、消耗巨大算力。SuperMimic的改进思路：学习一套所有动作共享的可微分动力学模型，依靠解析梯度优化策略，而不是依靠无模型采样估计。
SONIC同时联合训练目标编码器与跟踪器；ControlVAE在固定技能控制器的基础上，在学习到的模型上优化下游任务策略。SuperMimic是把目标编码器、解码器共享同一套动力学模型联合训练。目标接口既可以优化动作跟踪奖励，也可以使用任务自身奖励。本文初步实验同时训练速度跟踪接口与动作跟踪接口。
三、方法
3.1 SuperMimic训练循环
SuperMimic训练一个条件目标全身控制器，适配多技能动作库，支持多种目标指令接口。它用可微分世界模型捕获人形机器人共通动力学，依靠短时想象推演迭代优化策略。整个训练循环分为三步交替执行：
当前策略在仿真器中采集状态转移样本，存入回放缓冲区；
用回放窗口数据拟合可微分世界模型；
固定世界模型权重，从回放缓冲区的状态出发，在模型内部做想象推演，反向传播优化策略（Dyna框架思路）。
缓冲区、世界模型、策略全程同步更新；动力学学习和控制能力同步迭代，不是分阶段训练。早期策略采集的转移样本依然可以用来训练世界模型，因为动力学本身和采集样本的策略无关。
3.2 训练可微分世界模型
仿真器本身可以计算多刚体动力学，但不一定提供梯度。SuperMimic学习一个可微分代理模型，用来给时间反向传播提供预测值与雅可比矩阵，得到策略解析梯度。
世界模型是确定性模型，以单回合仿真上下文ξ（摩擦、标定偏差、躯干质心等域随机参数）作为条件，预测无噪声观测。
世界模型包含动力学主干网络，以及奖励头、观测头、终止条件头（模块可学习或者解析计算）：
s┴^_(t+1)=f_ω (s┴^_t,a_t,ξ),r┴^_(t+1)=r_ω (s┴^_t,a_t,g_t),o┴^_t=g_ω (s┴^_t,ξ),d┴^_t=d_ω (s┴^_t,g_t).
在k步自回归回放窗口（k=8）上拟合网络参数ω，最小化世界模型损失函数。
3.3 在世界模型内训练策略
策略更新阶段，固定世界模型权重ω，在H=32步的想象推演轨迹上优化策略π_θ与价值网络V_ψ。价值网络用来预估H步之后的长期回报，因此模型只需要保证短期H步内预测准确。想象窗口大于模型训练时的8步窗口；依靠自回归训练，模型可以在长推演过程中持续修正预测误差。
每一条想象轨迹从回放缓冲区采样初始状态s_0以及对应的仿真上下文ξ。t时刻模型输出预测观测o┴^_t，叠加传感器噪声后送入策略输出动作。
想象轨迹上的策略目标函数：
J┴^ (θ)=E_(s_0∼ρ_0,π_θ ) [∑_(t=0)^(H-1) γ^t c┴^_t r┴^_(t+1)+γ^H c┴^_H V_ψ (s┴^_H,g_H,ξ)].
动作跟踪奖励采用BeyondMimic跟踪奖励，去掉自碰撞惩罚项。
世界模型可微分，时间反向传播沿着H步想象轨迹，依靠模型对状态、动作的雅可比矩阵，直接算出回报对策略参数的一阶梯度。
对比PPO：PPO把动力学当成黑盒，依靠似然比估计梯度，方差大；而BPTT直接对回报求导，短窗口下梯度方差低很多。
价值网络基于想象轨迹，用广义优势估计做损失拟合。
策略+价值网络的组合，属于短视野Actor-Critic（类似SHAC）；SHAC是直接对可微分仿真器反向传播；SuperMimic用生存权重替代硬性回合终止，并且不使用指数移动平均目标网络。
早期用解析梯度的跟踪控制器大多不使用价值网络，只优化固定步数奖励和，容易短视；价值网络的作用是：在被外力扰动、失衡恢复这类奖励出现在想象窗口之外的场景下，提升稳定性。
四、实验结果
仿真环境：MuJoCo Warp（GPU加速版MuJoCo）；算力全部使用Lambda H100 80GB SXM5；多次随机种子实验训练稳定，原因是动作跟踪每一步都有稠密奖励。
归一化回报：单回合无折扣累计奖励除以理论最大奖励；提前摔倒终止，得分会大幅下降。
4.1 SuperMimic用极少GPU小时达到SONIC水准
对比基线SONIC：基于PPO，128 GPU集群训练，二者底层都基于BeyondMimic动作跟踪框架。
单GPU训练3小时，SuperMimic超过SONIC发布版本的归一化回报；129514条动作基准：SONIC失败179条；SuperMimic单GPU 3h失败25条，双GPU 9.8h零失败。
耗时对比：墙钟时间缩短50倍以上，GPU总小时减少1000倍以上。
数据集：SuperMimic使用BONESSEED公开子集264.56小时动作，SONIC是611小时。
受控对照实验LAFAN1数据集：基线PPO-Sim，和SuperMimic共享动作、观测、奖励、域随机、网络大小；PPO-Sim在仿真器内采样，SuperMimic在世界模型想象推演反向传播。SuperMimic单GPU 1.2小时达到回报0.82；PPO-Sim在1/4/8块GPU上，18小时预算内最高只能到0.72，再多GPU收益很小。
4.2 可微分世界模型的特性
一套模型覆盖全部动作库：数据集从1小时扩充到264小时，8步预测误差稳定在0.007~0.011区间。所有动作都由同一个人形身体执行，新增动作只是补充同一套刚体、接触动力学的数据，不需要增加模型容量。
想象推演速度远快于仿真器：常规批量下，模型推演速度比MuJoCo Warp快10倍以上；64k并行环境下最高快62倍。
解析梯度大幅降低采样量：达成同等最优回报，SuperMimic所需想象步数相比PPO-WM减少约64倍。
4.3 价值网络：支持更短推演窗口、抗扰动恢复
没有价值网络时，H≤16训练无法收敛；带上价值网络，H=16就可以达到无价值网络H=32的效果，H=32收敛最快。
仿真测试：机器人保持T型姿态，受到0.5~4m/s侧向推力。带价值网络的策略可以在0.5–2.4秒内恢复稳定；不带价值网络的策略持续摇晃，高速冲击直接摔倒。
4.4 真机迁移（Unitree G1宇树G1）
一套通用跟踪策略，不需要针对每个动作单独调参直接部署真机：跳跃、侧滚、90°前空翻、原地360°翻滚等高难度全身动作。
4.5 下游任务：强化学习编码器 vs 蒸馏编码器
SuperMimic可以联合训练下游目标编码器，共享同一个世界模型。我们训练速度编码器，直接以速度跟踪奖励优化；对比蒸馏基线（用动作跟踪数据做监督蒸馏）。
一共672组阶跃速度指令测试：强化学习编码器650组稳态误差更小；蒸馏编码器仅15组更好；只有蒸馏编码器在缺少样本的高速转向场景会摔倒。
五、结论
SuperMimic消除了算力对人形全身控制规模化的限制。单个可微分世界模型学习所有动作共享的动力学，依靠时间反向传播，把整套动作库的学习成本分摊到同一个策略。
策略在单GPU训练，效果超过128 GPU集群训练出来的基线，并且可以直接迁移到宇树G1真机。数据集扩容时训练成本增长平缓。同一个模型还可以直接针对下游任务奖励训练速度控制接口。
现在，我们只需要单块GPU，就可以研究动作跟踪的缩放规律。
附录（简要）
D 训练算法与超参
D.1 基于回报的重置采样：仿真回合优先从训练效果差的动作片段重启，兼顾均匀采样、困难样本、历史样本权重，保证难动作持续练习。
D.2 核心超参：窗口长度k=8；想象视野H=32；优化器Adam；折扣系数γ=0.99。
E 动作数据过滤：原始BONES-SEED有142220条动作，过滤掉楼梯、箱子、椅子等机器人无法交互的场景，最终保留129514条平地人形动作片段。