图 1：一个学习得到的可微世界模型用于训练人形机器人全身控制器，相比集群规模的无模型强化学习，GPU 小时数减少 1000 倍以上（§4.1）。左：策略通过世界模型的想象推演不断改进。右：SONIC [1] 使用 128 块 L40 GPU 训练 168 小时，本文工作仅用 1 块 H100 训练 3 小时。
摘要：跟踪大规模人体动作数据集，已成为通向通用、富有表现力的人形机器人全身控制的主流路径，但在大量动作上扩展训练代价高昂。现有流水线采用无模型强化学习：或者通过有损蒸馏把逐动作的专家合并为单一控制器，或者用集群级算力硬训一个统一策略。SuperMimic 借助一个可微世界模型，在全部动作所共享的动力学上摊销学习，该模型由标准刚体仿真器记录的转移数据拟合而成。世界模型与跟踪策略在同一个循环中联合训练，对短时想象推演做通过时间的反向传播（BPTT），从而给策略提供解析梯度。快速的想象推演与解析梯度使策略学习十分高效：在单块 GPU 上训练 3 小时，SuperMimic 便超过了在最先进动作跟踪基线（128 块 GPU 训练 7 天）上得到的回报，GPU 小时数减少 1000 倍以上，并且在 129,514 个基准动作中仅失败 25 个，而基线失败 179 个。在两块 GPU 上训练 9.8 小时后，SuperMimic 实现零失败。当动作数据从 1 小时扩展到 264 小时，世界模型的预测误差保持稳定，达到目标回报所需的 GPU 小时数增长缓慢。我们的策略可迁移到实体 Unitree G1，完成多样化乃至杂技类动作。SuperMimic 消除了算力这一扩展人形机器人全身控制的瓶颈，使测量动作跟踪的规模律（scaling law）变得现实可行。
关键词：人形机器人；全身控制；基于模型的强化学习
人形机器人有望在为人设计的环境中工作，但这要求全身控制器覆盖多样的人体动作——从行走、舞蹈，到下蹲与平衡恢复。基于物理的动作模仿通过训练强化学习策略去跟踪参考动作片段来解决这一问题，这些片段取自大型动作捕捉（mocap）数据集 [2, 1]。现有系统扩展这一思路的方式有二：把许多片段专属的专家策略蒸馏成一个控制器 [3]，或者在大型动作库上训练一个通才策略 [1]。两种情况下，动作库越多样，控制器就越强；但两者也都会随着动作覆盖范围的扩大而变得计算昂贵：以当前最优的跟踪器 SONIC [1] 为例，它在 128 块 GPU 上训练约 168 小时，总计约 21,000 GPU 小时。尽管参考动作各不相同，它们共享同一个仿人混合刚体动力学。无模型强化学习没有显式建模这一共享结构，而是反复从带噪声的仿真器推演中估计动作后果。于是，扩展到更多动作就等同于堆叠更多算力。
SuperMimic 用一个从仿真器转移数据中拟合的可微世界模型来消除这种低效。对短时想象推演做通过时间的反向传播（BPTT），可在学习到的模型上给出解析的策略梯度，从而让一个动力学模型为整个动作捕捉库摊销学习。由于这些梯度来自学习到的模型而非对仿真器求导，SuperMimic 仍与刚体仿真器兼容，包括那些具有非光滑接触、不可微实现的仿真器。
在单块 GPU 上，SuperMimic 在 3 小时内即超过 SONIC 公开权重的归一化回报，并把 GPU 小时数减少 1000 倍以上（§4.1）。在包含 129,514 个动作的基准上，单 GPU 训练 3 小时后 SuperMimic 失败 25 个动作，双 GPU 训练 9.8 小时后失败 0 个；作为对比，SONIC 的公开权重失败 179 个（附录 F）。在数据集长度扩大 264 倍的范围内，世界模型的预测误差保持稳定，SuperMimic 达到固定回报所需的算力增长缓慢。学习到的策略可迁移到实体 Unitree G1。在对下游接口的初步研究中，用强化学习训练的速度编码器优于蒸馏基线。
大规模基于物理的动作跟踪。基于物理的动作模仿学习能在接触丰富的刚体动力学下复现参考动作的控制器。DeepMimic [2] 通过无模型强化学习展示了富有表现力的角色技能，PHC [11] 把这一范式扩展到大型动作集并具备鲁棒的恢复能力。SONIC [1] 进一步表明，扩展动作数据、策略容量与训练算力可以产生可迁移到人形硬件的通才控制器。这些结果确立了动作跟踪作为覆盖广泛全身行为的实用路径。然而，训练这类大规模动作跟踪器需要海量仿真器推演与可观算力。SuperMimic 通过在所有动作间共享的可微动力学模型来解决这一瓶颈，使策略改进能够利用解析梯度，而不必依赖无模型的推演估计。
用于运动控制的可微学习动力学。SuperTrack [12] 通过仿真器的可微代理来优化运动控制策略。ControlVAE [6] 联合学习动力学模型、潜技能表示与生成式控制器，而 MoConVQ [13] 把学习模型的训练扩展到数十小时数据上的离散动作表示。SuperDyno [14] 将可微神经动力学扩展到数万个动作片段。这些方法确立了学习动力学与解析策略梯度在可扩展的仿真角色控制中的有效性。SuperMimic 把这一方向推进到单 GPU 训练大规模人形跟踪器并实现 sim-to-real 部署：其世界模型以仿真上下文为条件，而部署的 actor 使用带噪本体感知观测与目标输入（§3.2）。我们评估了模型精度、推演吞吐与可微策略更新各自对训练效率的贡献，以及预测误差随动作覆盖扩大而如何变化（§4.1–4.2），并展示了所得控制器的实体部署（§4.4）。
基于模型的策略优化与机器人部署。Dreamer [15] 与 DreamerV3 [16] 学习潜动力学以进行基于想象的 actor–critic 学习，TD-MPC [17] 把短时域规划与终端价值预测结合。DayDreamer [18] 展示了直接在实体机器人上学习世界模型。SHAC [19] 用可微仿真做短时域 actor–critic 更新，启发了 SuperMimic 的、由 critic 引导的自举目标。解析梯度的机器人控制也可以把一个简化的可微代理与高保真前向仿真器结合，这在四足运动控制中已有演示 [20]。SuperMimic 从仿真器转移数据中学习代理，并对短时想象推演做反向传播，从而保持与标准刚体仿真器的兼容性。
RWM [21] 与 RWM-U [22] 表明，在学习到的神经仿真器中训练的策略可以迁移到实体机器人。两者都用 PPO 在想象推演上优化策略；RWM-U 额外使用带不确定性惩罚的离线优化。SuperMimic 则通过对回报关于学习动力学的求导来优化策略。RWM 与 RWM-U 用其他策略产生的轨迹预训练世界模型；相反，SuperMimic 在训练过程中用自身策略收集的数据拟合世界模型。
可复用的动作表示与下游控制。可复用控制器把动作跟踪与下游目标接口连接起来（表 1）。NPMP [5] 与 PhysicsVAE [7] 从专家行为中学习潜运动表示；PULSE [8] 与 LATENT [10] 使用学习到的动作表示做下游强化学习。MaskedMimic [9] 通过动作修补支持部分身体与多模态目标，BeyondMimic [3] 则用引导扩散实现目标跟随。SONIC [1] 用跟踪奖励与潜对齐损失联合训练目标编码器与跟踪器。ControlVAE [6] 在学习模型中优化下游任务策略，同时冻结技能控制器。SuperMimic 通过同一个动力学模型联合训练各目标专属的编码器与共享解码器（附录 B）。目标接口既可以优化参考跟踪奖励，也可以优化自身任务奖励。我们的初步研究同时训练速度接口与动作跟踪接口，并分别用两种目标各训练一次（§4.5）。
| 方法 | 模仿 | 潜变量 | 下游 | 任务信号 | 真机 |
|---|---|---|---|---|---|
| NPMP [5] | SVG(0) | BC | SVG(0) | RL | × |
| ControlVAE [6] | MBRL | MBRL | RL | × | |
| PhysicsVAE [7] | PPO | BC1 | PPO | RL | × |
| PULSE [8] | PPO | DAgger | PPO | RL | × |
| MaskedMimic [9] | A2C | DAgger | Distill | × | |
| BeyondMimic [3] | PPO | DAgger | CGD | Distill | ✓ |
| SONIC [1] | PPO | Distill2 | ✓ | ||
| LATENT [10] | PPO | DAgger | PPO | RL | ✓ |
| SuperMimic | MBRL | Distill / RL | ✓ | ||
SuperMimic 在一个多技能动作库上训练单一的目标条件全身控制器，并支持多种目标接口。它用一个可微世界模型刻画共享的仿人动力学，并通过短时想象推演改进策略。训练在同一个循环中交替进行三个阶段（图 2）：第一，当前策略在仿真中收集转移，存入经验回放缓冲区；第二，用缓冲区中的短窗口拟合可微世界模型；第三，冻结世界模型，把一个想象回报反向传播穿过模型来改进策略，每条推演都从缓冲区中的状态出发，遵循 Dyna 风格 [23, 24]。缓冲区、模型与策略在训练全程持续更新，因此动力学学习与控制能力共同提升，而不是分阶段进行（算法 A.1，附录 D）。早期策略产生的转移依然可用于拟合世界模型，因为动力学不依赖于收集数据的策略。
我们用 M 表示目标条件部分可观测马尔可夫决策过程（POMDP），并用状态 st、目标 gt 与动作 at 的紧凑记号。状态 st 给出本体感知观测 ot 与终止标志 dt（st 为终止状态时取 1）。在状态 st 执行动作 at 得到奖励 rt+1 与下一状态 st+1。策略是确定性的，at = πθ(ot, gt)，其中 at 参数化一个归一化的关节设定点；在动作跟踪任务中，gt 从参考动作中读取。数据收集时，仿真器执行带噪动作 at + ϵt（ϵt ∼ ρϵ），缓冲区存储的是实际执行的带噪动作。噪声扩大了世界模型所拟合的动作范围，它只服务于模型拟合，且是可选的。回报使用软存活权重，c0 = 1，ct+1 = ct(1 − dt+1)，于是 J(θ) = E[Σt≥0 γtctrt+1]，折扣因子 γ ∈ [0, 1)。仿真器记录硬终止，而学习模型预测一个终止概率 d̂t ∈ [0, 1]，从而使想象推演中的存活权重保持可微。全文用帽子标记仿真器量在世界模型中的对应量。我们还将观测分解为 ot = ōt + ηt，其中 ōt 为无噪观测，已知的观测噪声 ηt ∼ ρη 在世界模型之外采样。附录 A 给出完整的空间与奖励定义。
默认接口是全参考动作跟踪。其他目标接口（例如速度）共享同一套学习到的动力学，并与动作跟踪联合训练（附录 B）。
仿真器的多关节多刚体动力学是已知的，但仿真器未必提供梯度，因此 SuperMimic 学习一个可微代理来获取策略梯度：它为 §3.3 的 BPTT 更新提供预测与雅可比矩阵。由此得到的解析策略梯度，是仿真中期望回报的代理目标的梯度。由于仿真器随机性的来源已知，世界模型保持确定性：它以每回合的仿真上下文 ξ（摩擦、标定偏置、躯干质心）为条件，预测无噪观测 ōt。
世界模型包含一个学习到的动力学模型，以及奖励、观测和终止三个头；每个头既可以是学习得到的，也可以是解析计算的：
我们在 k 步自回归回放窗口（k = 8）上拟合网络权重 ω：以记录状态 ŝ0 = s0 为起点，沿记录动作向前推演，最小化
其中解析头没有损失项。rj 为仿真器奖励，dj ∈ {0, 1} 为仿真器终止标签，BCE 为二元交叉熵。
每次策略更新时，我们固定世界模型权重 ω，在 H = 32 步的想象推演上优化 πθ 与 Vψ。评论家 Vψ 估计第 H 步之后的回报，因此模型只需在这 H 步内保持准确。这个想象时域超过了我们拟合模型所用的 k 步回放窗口（§3.2）。实践中，学习到的模型在任意长的推演中仍保持稳定，因为 k 步自回归拟合训练它修正自身的预测误差。
每条想象推演从缓冲区状态 s0 ∼ ρ0 及其记录的仿真上下文 ξ 出发。在第 t 步，模型输出 ô̄t，我们重新加入传感器噪声，策略据此行动：at = πθ(ô̄t + ηt, gt)，ηt ∼ ρη。想象推演上的策略目标为
对于动作跟踪，奖励 rt+1 使用 BeyondMimic 的动作跟踪奖励 [3]，但去掉其中的自碰撞惩罚（附录 A）。
由于世界模型可微，BPTT 借助模型对 ŝt 与 at 的雅可比，在 H 个想象步上计算一阶梯度 ∇θĴ。相比之下，PPO 把动力学视为黑箱：它用采样动作的优势对随机策略的得分 ∇θ log πθ 加权，属于似然比估计。BPTT 则直接把回报对每个动作求导，因此在短时域上梯度方差低得多。
评论家 Vψ 拟合仅在想象转移上反向计算的广义优势估计回报 [25]：
其中 Vt = Vψ(ŝt, gt, ξ)。递推从 R̂H = VH 开始，即评论家对时域之外回报的估计。目标 R̂t 每条推演只计算一次，并在拟合 ψ 时保持不变。
策略更新与评论家更新共同构成一个短时域 actor–critic，其思路与 SHAC [19] 一致——后者通过可微仿真器做反向传播。SuperMimic 用存活权重 ĉt 取代了 SHAC 的硬回合终止，并且其评论家不使用指数滑动平均目标网络。此前用解析梯度的动作跟踪控制器常常省略评论家，只优化 H 步奖励之和 [12, 6]。没有评论家时，训练也能达到相近的名义跟踪回报，但这种非自举目标更为短视。评论家的作用体现在扰动之后：恢复或平衡奖励可能位于想象窗口之外（§4.3）。
我们展示 SuperMimic 相对于 PPO 流水线的良好扩展性，剖析支撑这种扩展的世界模型特性，演示在实体 Unitree G1 上的迁移，并报告一项关于下游目标接口的初步研究。仿真器为 MuJoCo Warp，即 MuJoCo 的 GPU 实现 [26]。文中报告的全部成本均在 Lambda 按需实例的 NVIDIA H100（80 GB SXM5）GPU 上测得。我们跑了若干随机种子，发现训练非常稳定，我们将其归因于动作跟踪在每一步都提供稠密奖励。因此图中未报告种子间波动。归一化回报（简称「回报」）是整回合中逐步奖励未折扣之和，除以该和可能取到的最大值。因此提前终止的策略得分很低。
我们与 SONIC 比较，后者是已发表的、在 128 GPU 集群上训练的 PPO 流水线。两种方法都建立在 BeyondMimic 动作跟踪形式 [3] 之上，这使 SONIC 成为现有最接近的公开对照。在单块 GPU 上 3 小时内，SuperMimic 即超过 SONIC 公开检查点的归一化回报（图 3(a)）。在 129,514 个动作的共享基准上，它失败的动作也更少：单 GPU 3 小时后 25 个，双 GPU 9.8 小时后 0 个，而 SONIC 公开检查点为 179 个（附录 F）。我们对「3 小时」的表述是保守的：此后每一个检查点在回报与失败动作数上都至少领先 SONIC 半个「SONIC 与 SuperMimic 最佳结果之间差距」的距离。也就是说，SuperMimic 的墙钟时间少 50 倍以上，GPU 小时数少 1000 倍以上。
算力核算。这些比值把 SONIC 报告的 128 块 NVIDIA L40 GPU 训练 7 天（约 21,000 GPU 小时）与单块 NVIDIA H100 训练 3 小时（在此期间 SuperMimic 已超过 SONIC 公开检查点的回报）相比。墙钟时间约为 56 倍（> 50 倍），GPU 小时约为 7200 倍（> 1000 倍）。3 小时涵盖完整训练循环；检查点评估在训练之后运行，未计入。SuperMimic 使用 BONES-SEED [27]（SONIC 数据的公开子集）中 264.56 小时的动作训练，约为 SONIC 611 小时的 1/2.3。GPU 型号也不同：在峰值吞吐上，H100 的 fp32 性能为 L40 的 0.74 倍，张量核心性能为 5.5 倍；两次运行各自用到了多少峰值无从得知。然而，数据上 2.3 倍、GPU 峰值吞吐至多 5.5 倍的差异，无法解释 1000 倍的 GPU 小时差距。
图 4(a) 在 LAFAN1 [28] 上给出受控比较。基线 PPO-Sim 是在仿真器中训练的 PPO。PPO-Sim 与 SuperMimic 共享相同的动作、观测、奖励、终止条件、域随机化、actor 与 critic 网络规模以及评估协议。它使用 BeyondMimic 的 PPO 超参数 [3]，每块 GPU 8192 个并行环境，是 SuperMimic 的两倍。PPO-Sim 从采样的仿真器推演中估计策略梯度；SuperMimic 则把想象回报反向传播穿过世界模型推演。SuperMimic 在单块 GPU 上 1.2 小时内即达到评估回报 0.82；在 18 小时的预算内，PPO-Sim 未能达到。其最终回报在单 GPU 上为 0.60，四 GPU 为 0.70，八 GPU 为 0.72——从四块到八块 GPU 几乎无益。
图 3(b, c) 显示，对 SuperMimic 而言，达到目标回报所需的 GPU 小时数随数据集长度增长而缓慢上升，而在同一轮扫描中世界模型的预测误差保持稳定；§4.2 把这两种趋势都归因于：一个世界模型摊销了各动作共享的动力学。
这些结果依托于学习到的世界模型 fω 的三项特性：其精度随动作库增长而保持，其推演快速且可微。
一个模型摊销整个动作库。在图 3(c) 中，数据集从 1 小时增至 264 小时，世界模型的 8 步预测误差始终位于 0.007 与 0.011 之间。每个动作都由同一台仿人机器人执行，因此新增片段提供的是关于共享身体与接触动力学的更多证据，而不是要求更大的模型容量。这与达到目标回报所需算力的缓慢增长相一致（§4.1）。
想象加速推演。在策略优化期间，推演速度决定了更新成本。图 5(a) 显示，在实际使用的批量下，世界模型的运行速度比 MuJoCo Warp 快 10 倍以上；在 64k 并行环境下快达 62 倍。
一阶梯度需要更少的想象步数。作为机制消融，图 5(b) 单独考察了一阶策略更新的收益：SuperMimic 用约 64 倍更少的想象步数达到了 PPO-WM 的最好回报，因此收益并不只是推演速度。
图 4(b, c) 在有无评论家两种情况下扫描 H。没有评论家时，H ≤ 16 的训练失败。有评论家时，H = 16 与无评论家的 H = 32 相当，而 H = 32 最快达到 0.82 的回报。把 H 从 64 提高到 128，达到该回报的时间几乎增至三倍，最终回报也更低；H = 128 是一块 H100 能容纳的最长时域。在相同回报下，评论家仍会改变行为：在仿真中保持静态 T-pose 时施加 0.5–4 m/s 的速度推力，带评论家的策略在 0.5–2.4 秒内稳定下来；无评论家的策略则始终无法稳定——即使 0.5 m/s 也会不断踉跄，4 m/s 时直接摔倒。
一个通用动作跟踪器无需逐动作调参即可部署到实体 Unitree G1 上（图 6）。四个动作覆盖了移动（跳跃式小跑）、躯干与四肢接触地面的富接触全身动作（侧滚翻），以及杂技动作（90° 翻转与原位 360° 翻转）。
SuperMimic 让下游目标编码器与动作跟踪接口联合训练，共享同一个解码器与世界模型（附录 B）。我们对下游接口的研究尚属初步。我们用速度跟踪奖励通过世界模型训练一个速度编码器，并与蒸馏基线比较：后者是用动作跟踪奖励训练的速度编码器，指令从参考动作中读取。图 7 在覆盖速度空间的 672 个阶跃响应上评估两者（附录 G）。RL 编码器在其中 650 个上稳态误差更低，蒸馏编码器在 15 个上更低；只有蒸馏编码器会摔倒——发生在 7 个快速转向指令上，那里动作库几乎没有数据。
SuperMimic 消除了算力这一扩展人形机器人全身控制的瓶颈。单个学习到的可微世界模型捕捉了所有动作共享的动力学，对其做通过时间的反向传播可把整个数据集摊销为一个策略。该策略在单块 GPU 上训练，超过在 128 GPU 集群上训练的策略的回报，并迁移到实体 Unitree G1。在受控的数据集长度扫描中，其训练成本增长缓慢。同一个模型还能直接以接口自身的任务奖励训练下游速度接口。如今测量动作跟踪的规模律已经可负担——每次运行只需一块 GPU。
我们感谢 Bike Zhang、Sangli Teng、Nima Rahmanian 与 Songbo Hu 的有益讨论与实验帮助。本工作部分得到 Komatsu、BAIR 人形智能中心、Apple 与 RAI Institute 的支持。我们感谢 Lambda 为本项目赞助算力。动作数据由 Bones Studio 提供（https://bones.studio/）。Pieter Abbeel 与 Koushil Sreenath 同时兼任加州大学伯克利分校教授与 Amazon Scholars。本文描述的是在加州大学伯克利分校完成的工作，与 Amazon 无关。
[1] Z. Luo, Y. Yuan, T. Wang, C. Li, F. Castañeda, S. Chen, Z.-A. Cao, J. Li, D. Minor, Q. Ben, J. Park, D. Sami, Z. Wang, X. Da, R. Ding, C. Hogg, L. Song, E. Lim, E. Jeong, T. He, H. Xue, W. Xiao, S. Yuen, J. Kautz, Y. Chang, U. Iqbal, L. Fan, and Y. Zhu. SONIC: Supersizing motion tracking for natural humanoid whole-body control. Science Robotics, 11(117):eaed4592, 2026. doi:10.1126/scirobotics.aed4592.
[2] X. B. Peng, P. Abbeel, S. Levine, and M. van de Panne. DeepMimic: Example-guided deep reinforcement learning of physics-based character skills. ACM Transactions on Graphics, 37(4):143:1–143:14, 2018. doi:10.1145/3197517.3201311.
[3] Q. Liao, T. E. Truong, X. Huang, Y. Gao, G. Tevet, K. Sreenath, and C. K. Liu. BeyondMimic: From motion tracking to versatile humanoid control via guided diffusion. Science Robotics, 11(117):eadx8924, 2026. doi:10.1126/scirobotics.adx8924.
[4] J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.
[5] J. Merel, L. Hasenclever, A. Galashov, A. Ahuja, V. Pham, G. Wayne, Y. W. Teh, and N. Heess. Neural probabilistic motor primitives for humanoid control. In International Conference on Learning Representations, 2019.
[6] H. Yao, Z. Song, B. Chen, and L. Liu. ControlVAE: Model-based learning of generative controllers for physics-based characters. ACM Transactions on Graphics (TOG), 41(6):1–16, 2022. doi:10.1145/3550454.3555434.
[7] J. Won, D. Gopinath, and J. Hodgins. Physics-based character controllers using conditional VAEs. ACM Transactions on Graphics (TOG), 41(4):1–12, 2022. doi:10.1145/3528223.3530067.
[8] Z. Luo, J. Cao, J. Merel, A. Winkler, J. Huang, K. Kitani, and W. Xu. Universal humanoid motion representations for physics-based control. In International Conference on Learning Representations, 2024.
[9] C. Tessler, Y. Guo, O. Nabati, G. Chechik, and X. B. Peng. MaskedMimic: Unified physics-based character control through masked motion inpainting. ACM Transactions on Graphics (TOG), 43(6):1–21, 2024. doi:10.1145/3687951.
[10] Z. Zhang, H. Lu, Y. Lian, Z. Chen, Y. Liu, C. Lin, H. Xue, Z. Zeng, Z. Qi, S. Zheng, Q. Luan, J. Wang, J. Xing, H. Wang, and L. Yi. Learning athletic humanoid tennis skills from imperfect human motion data. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2026.
[11] Z. Luo, J. Cao, A. Winkler, K. Kitani, and W. Xu. Perpetual humanoid control for real-time simulated avatars. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10895–10904, 2023.
[12] L. Fussell, K. Bergamin, and D. Holden. SuperTrack: Motion tracking for physically simulated characters using supervised learning. ACM Transactions on Graphics (TOG), 40(6):1–13, 2021. doi:10.1145/3478513.3480527.
[13] H. Yao, Z. Song, Y. Zhou, T. Ao, B. Chen, and L. Liu. MoConVQ: Unified physics-based motion control via scalable discrete representations. ACM Transactions on Graphics (TOG), 43(4):1–21, 2024. doi:10.1145/3658137.
[14] Y. Lei, Z. Luo, T. He, J. Cao, G. Shi, and K. Kitani. Scalable humanoid whole-body control via differentiable neural network dynamics. In ICLR 2025 Workshop on World Models, 2025.
[15] D. Hafner, T. Lillicrap, J. Ba, and M. Norouzi. Dream to control: Learning behaviors by latent imagination. In International Conference on Learning Representations, 2020.
[16] D. Hafner, J. Pasukonis, J. Ba, and T. Lillicrap. Mastering diverse control tasks through world models. Nature, 640(8059):647–653, 2025. doi:10.1038/s41586-025-08744-2.
[17] N. Hansen, X. Wang, and H. Su. Temporal difference learning for model predictive control. In Proceedings of the 39th International Conference on Machine Learning, volume 162 of PMLR, pages 8387–8406, 2022.
[18] P. Wu, A. Escontrela, D. Hafner, K. Goldberg, and P. Abbeel. DayDreamer: World models for physical robot learning. In Proceedings of The 6th Conference on Robot Learning, volume 205 of PMLR, pages 2226–2240, 2023.
[19] J. Xu, V. Makoviychuk, Y. Narang, F. Ramos, W. Matusik, A. Garg, and M. Macklin. Accelerated policy learning with parallel differentiable simulation. In International Conference on Learning Representations, 2022.
[20] Y. Song, S. Kim, and D. Scaramuzza. Learning quadruped locomotion using differentiable simulation. In Proceedings of The 8th Conference on Robot Learning, volume 270 of PMLR, pages 258–271, 2025.
[21] C. Li, A. Krause, and M. Hutter. Robotic world model: A neural network simulator for robust policy optimization in robotics. arXiv preprint arXiv:2501.10100, 2025.
[22] C. Li, A. Krause, and M. Hutter. Uncertainty-aware robotic world model makes offline model-based reinforcement learning work on real robots. arXiv preprint arXiv:2504.16680, 2025.
[23] R. S. Sutton. Dyna, an integrated architecture for learning, planning, and reacting. ACM SIGART Bulletin, 2(4):160–163, 1991. doi:10.1145/122344.122377.
[24] M. Janner, J. Fu, M. Zhang, and S. Levine. When to trust your model: Model-based policy optimization. In Advances in Neural Information Processing Systems, volume 32, 2019.
[25] J. Schulman, P. Moritz, S. Levine, M. I. Jordan, and P. Abbeel. High-dimensional continuous control using generalized advantage estimation. In International Conference on Learning Representations, 2016.
[26] E. Todorov, T. Erez, and Y. Tassa. MuJoCo: A physics engine for model-based control. In IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 5026–5033, 2012.
[27] Bones Studio. BONES-SEED: Skeletal everyday embodiment dataset, 2026. https://huggingface.co/datasets/bones-studio/seed.
[28] F. G. Harvey, M. Yurick, D. Nowrouzezahrai, and C. Pal. Robust motion in-betweening. ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH), 39(4):60:1–60:12, 2020. doi:10.1145/3386569.3392480.
本附录对 §3.1 中 POMDP 的共享空间做具体实例化。动作跟踪接口沿用 BeyondMimic 的形式 [3]；我们做的改动在文中就地说明。
观测。本体感知观测 ot 包含相对于默认姿态的关节位置 q − q0、关节速度 q̇、来自惯性测量单元（IMU）的基座角速度、基座坐标系下的投影重力，以及上一动作 at−1（表 A.1）；策略接收最近 10 帧观测。
| 观测项 | 维度 | 噪声 ηt | 单位 |
|---|---|---|---|
| 关节位置 q − q0 | 29 | U[−0.01, 0.01] | rad |
| 关节速度 q̇ | 29 | U[−0.5, 0.5] | rad/s |
| 基座角速度（IMU） | 3 | U[−0.2, 0.2] | rad/s |
| 投影重力 | 3 | U[−0.05, 0.05] | – |
| 上一动作 at−1 | 29 | – | – |
目标。对动作跟踪接口，目标 gt 从参考动作中读取。与 BeyondMimic [3] 相比，我们让编码器以 K = 10 帧未来参考序列为条件，而非单帧目标。其他目标接口将 gt 替换为相应的指令表示，例如目标速度指令（附录 B）。
动作。动作 at 映射为绕默认姿态 q0 的关节设定点 qsp = α at + q0。与 BeyondMimic 一致，较低的 PD 增益使该设定点成为关节力矩的代理，而非期望位置。
奖励。我们使用 BeyondMimic 的动作跟踪奖励（表 A.2），但去掉其自碰撞惩罚。该惩罚用于防止随机策略的奖励作弊：当参考动作让两个刚体靠近但不接触时，把它们压在一起会抑制动作噪声并提高速度跟踪奖励。我们的策略在想象推演中是确定性的（§3.3），因此这一利用手段没有收益，该项不再必要。关节限位惩罚从 −10 降到 −2。
终止。当根刚体相对参考的高度或倾角超过阈值（|ep,z| > 0.25 m 或 etilt > 0.8）时回合终止。倾角误差 etilt 是重力方向在参考根坐标系与机器人根（骨盆）坐标系中 z 分量的绝对差。对于直立参考，etilt 在约 78° 倾角时达到 0.8。与 BeyondMimic 不同，我们不因末端执行器偏差而终止。
仿真上下文与域随机化。每回合的仿真上下文 ξ 汇集送入世界模型的域随机化参数（§3.2）；表 A.3 列出这些参数。我们省略了 BeyondMimic 的根速度扰动：这类推力会注入确定性世界模型无法刻画的状态不连续，并且我们发现仅对物理参数做随机化已足以实现硬件迁移。
| 奖励项 | 公式 | 权重 |
|---|---|---|
| 任务（跟踪） | ||
| 刚体位置 | exp[−(1/|T| Σb∈T ‖pbdes − pb‖²) / 0.3²] | 1.0 |
| 刚体姿态 | exp[−(1/|T| Σb∈T ‖log(RbdesRb⊤)‖²) / 0.4²] | 1.0 |
| 刚体线速度 | exp[−(1/|T| Σb∈T ‖vbdes − vb‖²) / 1.0²] | 1.0 |
| 刚体角速度 | exp[−(1/|T| Σb∈T ‖ωbdes − ωb‖²) / 3.14²] | 1.0 |
| 根位置 | exp(−‖prootdes − proot‖² / 0.3²) | 0.5 |
| 根姿态 | exp(−‖log(RrootdesRroot⊤)‖² / 0.4²) | 0.5 |
| 正则项 | ||
| 动作平滑 | ‖at − at−1‖² | −0.1 |
| 关节限位 | Σj [max(0, qj − qjmax) + max(0, qjmin − qj)] | −2 |
| 域随机化参数 | 采样分布 |
|---|---|
| 摩擦系数 | μ ∼ U[0.3, 1.2] |
| 关节标定偏置 [rad] | Δq0,j ∼ U[−0.01, 0.01] |
| 躯干质心偏置 [m] | Δx ∼ U[−0.025, 0.025]，Δy ∼ U[−0.05, 0.05]，Δz ∼ U[−0.05, 0.05] |
在 §3 中，目标 gt 从完整参考动作中读取。下游目标接口只部分或以其他形式指定动作。由于身体物理是共享的，同一个动力学模型可以训练多个目标接口。我们为每个目标接口实例化一个 POMDP Mi（例如全参考动作目标、速度指令、末端执行器位姿，或 SMPL 身体姿态目标），各自拥有目标空间 Gi、奖励 ri 与终止 di，并各自用自己的评论家 Vψi 训练。单一策略网络使用逐接口的目标编码器 encθ,i 与共享解码器 decθ：
z = encθ,i(g) ∈ Z， a = decθ(z, o)， g ∈ Gi (A.1)
训练优化提升后的目标 maxθ Ei∼p(I)[Ĵi(θ)]，其中 p(I) 是目标接口集合 I 上的分布。于是每个接口 i 都有自己的策略 a = πi(o, g) := decθ(encθ,i(g), o)；速度编码器还接收观测历史的一个特征（表 A.4）。每个 Ĵi 是式 2 的目标，以 πi 取代 πθ，并使用 Mi 的奖励与终止以及评论家 Vψi。所有接口都通过同一个动力学模型 fω 训练，该模型不按接口重新训练。
下游接口按奖励类型选择蒸馏或 RL 训练。蒸馏使用动作跟踪奖励（§3.3），指令从参考动作读取；奖励梯度随后训练该接口从这一指令复现参考动作。RL 则直接通过世界模型优化接口自身的任务奖励，例如速度跟踪。在下游接口的推演上，回报梯度经共享解码器传回该接口的编码器，并对解码器权重做停止梯度；解码器仍由动作跟踪目标训练。§4.5 中 RL 训练的速度编码器，在带参考指令的推演上还有一个朝动作编码器潜变量的潜对齐损失（附录 G）。
表 A.4 列出 §3.2 的世界模型动力学网络，以及附录 B 的策略与评论家网络。
| 网络 | 输入 | 输出 | 结构 |
|---|---|---|---|
| 动力学 fω | ŝt, at, ξ | ŝt+1 | MLP (2048, 2048, 2048) |
| 动作编码器 encθ,motion | K = 10 帧未来参考帧 | z | MLP (2048, 1024, 512, 256) |
| 速度编码器 encθ,vel（附录 G） | 归一化指令 (vx, vy, ωz)，o 最近 10 帧的特征 | z | MLP (256, 256) |
| 共享解码器 decθ | z，o 最近 10 帧 | at | MLP (2048, 1024, 512, 256) |
| 评论家 Vψi | ŝt, gt, ξ | 标量 | MLP (256, 128)；每个接口一个评论家 |
算法 A.1 概述 §3.1 的 SuperMimic 训练循环，其三个步骤与图 2 的三个面板一一对应。
基于回报的重置采样。仿真回合重置到动作库中的点，并偏向策略当前回报较低的点。动作时间线被划分为 1 秒的箱，每个箱 b 维护一个从该处出发的折扣回报的运行估计 Gb，在策略自身的推演上更新。重置混合三种分布：50% 在箱上均匀；40% 取自 softmaxb(−25 Gb/Gmax)，其中 Gmax 是可达的最大折扣回报；10% 按每个箱过去的 softmax 权重成比例，使已学会的困难动作仍保留一定练习。
表 A.5 列出超参数。数值不同处，分别给出表 A.8 中单 GPU 与双 GPU 运行的取值。
| 超参数 | 符号 | 取值 |
|---|---|---|
| 世界模型 | ||
| 窗口长度 | k | 8 |
| 优化器 | Adam | |
| 学习率 | αω | 单 GPU：2 × 10−4；双 GPU：√2 × 2 × 10−4 |
| 批量 | 每次更新 10 批 × 2048 个窗口 | |
| 梯度裁剪 | 全局范数 1.0 | |
| 想象与策略 | ||
| 想象时域 | H | 32 |
| 优化器 | Adam，β = (0.9, 0.95) | |
| 学习率 | αθ | 与 αω 相同 |
| 批量 | 每次更新 4096 条想象推演 | |
| 梯度裁剪 | 全局范数 1.0，再逐元素 0.1 | |
| 折扣因子 | γ | 0.99 |
| 传感器噪声 | ηt ∼ ρη | 表 A.1 |
| 评论家 | ||
| GAE 参数 | λ | 0.95 |
| 优化器 | Adam | |
| 学习率 | 与 αω 相同 | |
| 梯度裁剪 | 全局范数 1.0 | |
| 每次更新的评论家轮数 | 5 轮，每轮 4 个打乱的小批量 | |
| 数据收集 | ||
| 每块 GPU 的仿真环境数 | 4096 | |
| 动作噪声 | ϵt ∼ ρϵ | 每个动作维度 N(0, 0.12) |
| 回放缓冲区大小 | 每个环境 1000 步 | |
| 训练调度 | ||
| 更新与数据比 | 0.4 | |
| 每次世界模型更新的策略更新次数 | 1 | |
| 学习率调度 | 在 250,000 次迭代内余弦衰减至 0.03×，之后恒定 | |
| 训练长度 | 320,000 次迭代 | |
| 多 GPU | 数据并行；梯度跨 GPU 平均 | |
我们在公开的、已重定向到 G1 的 BONES-SEED 动作集 [27] 上训练。原始发布包含 142,220 个片段，但许多片段会与机器人无法使用的地形或物体交互（楼梯、箱子、梯子、椅子），或者带有重定向伪影，使它们对一台在平地上自由站立的人形机器人不可行。我们分两轮去除这些片段，保留 129,514 个（表 A.7）。
名称过滤。每个片段以动作命名。我们丢弃名称中含有表示与地形或机器人无法使用的物体接触的词的片段——例如 stair、ladder、box、chair、sit、climb、jump off 50cm、look over fence。这一轮（改编自 SONIC 公开数据处理代码 [1] 中的关键词表，并补充少数遗漏词）去掉了 12,553 个片段。
可行性过滤。名称过滤会漏掉名称未暴露问题的片段（例如一段走上箱子的日常动作）。我们把每个动作送入 MuJoCo 做前向运动学，依据得到的刚体连杆与足部几何轨迹打标记；记 zmin(t) = minb zb(t) 为 t 时刻最低刚体连杆的高度，地面为 z = 0：
| 阶段 | 片段数 |
|---|---|
| 原始 BONES-SEED（G1 重定向） | 142,220 |
| 名称过滤后 | 129,667 |
| 可行性过滤后 | 129,514 |
我们在同一个过滤后的 BONES-SEED 训练集基准上评估 SONIC 与 SuperMimic，共 129,514 个待评估动作。对 SONIC，我们评估其公开检查点与 v1.1 检查点 [1]。每个动作从第一帧开始播放一次，所有策略使用相同仿真：足部摩擦 1.0、无域随机化与观测噪声、确定性物理。每个策略使用自己的执行器增益与动作尺度，并按各自训练环境构造观测的方式接收观测。若推演触发 SuperMimic 的训练终止条件（附录 A），则该动作记为失败。SONIC 自身的成功判据在根与末端执行器高度偏差超过 0.25 m 时判失败，不含姿态项 [1]。
表 A.8 按动作组统计失败动作数。SONIC 整组失败（全部 44 个翻转、全部 22 个侧滚翻，以及某段舞蹈动作的全部 8 个动作），并在 24 个大跳中失败 15 个；其 v1.1 检查点失败 239 个动作，其中包括同样的翻转与舞蹈动作，以及 22 个侧滚翻中的 19 个。单 GPU 训练 3 小时后，SuperMimic 的失败集中在少数几个困难动作小组：表 A.8 的前五组共 195 个动作，占其 25 个失败中的 14 个。没有任何一组的失败数超过 SONIC。双 GPU 训练 9.8 小时后，SuperMimic 零失败。图 A.1 给出失败数随训练的变化。基准中的动作对两种方法都是训练动作，因此这些计数衡量的是各策略对这些训练动作的覆盖程度，而非对新动作的泛化。
| 动作组（动作数） | SONIC | 1 GPU × 3 h | 2 GPU × 9.8 h |
|---|---|---|---|
| 侧滚翻（22） | 22 | 2 | 0 |
| 翻转：360°、180°、90°（44） | 44 | 1 | 0 |
| fire-in-the-hole 转身（20） | 3 | 3 | 0 |
| 交叉腿（10） | 9 | 0 | 0 |
| 躺、休息与起身（99） | 28 | 8 | 0 |
| 大跳（24） | 15 | 0 | 0 |
| 舞蹈动作（8） | 8 | 0 | 0 |
| 其余全部动作（129,287） | 50 | 11 | 0 |
| 合计（129,514） | 179 | 25 | 0 |
图 3。SuperMimic 在过滤后的 BONES-SEED 集上训练（附录 E）。(b, c) 中的数据集长度扫描使用 1、7、40 与 264 小时的子集。
§4.5 的速度编码器把指令 (vx, vy, ωz) 与 o 最近 10 帧的特征映射到共享潜变量。
每个编码器都在独立运行中从零训练，与动作跟踪接口联合训练 100,000 次迭代。两次运行都使用从 LAFAN1 与 BONES-SEED 过滤出的走跑动作库。4096 个仿真环境中的一半、以及每个想象批次中的一半使用速度接口，因此 p(I) 为均匀分布；与算法 A.1 每次更新采样一个接口不同，这里每个想象批次混合两者。
指令。指令 gt = (vx, vy, ωz) 由航向（仅偏航）坐标系下的目标平面根速度与世界坐标系下的目标偏航角速度组成。参考指令是参考根速度在参考航向坐标系下的 25 帧居中平均。对 RL 编码器，每个环境在每次重置与每 250 个控制步（5 秒）重新采样其指令来源：以 0.5 的概率每一步从参考片段读取指令，否则保持一条从 vx ∈ [−1.5, 2] m/s、vy ∈ [−1.32, 1.32] m/s、ωz ∈ [−3.35, 3.35] rad/s 中均匀抽取的指令，并以 0.1 的概率置零（站立）。
| 奖励项 | 公式 | 权重 |
|---|---|---|
| 任务（速度跟踪） | ||
| 线速度 | exp(−‖vxy − vxycmd‖² / 0.5²) | 2.0 |
| 偏航角速度 | exp(−(ωz − ωzcmd)² / 0.5) | 2.0 |
| 正则项 | ||
| 动作平滑 | ‖at − at−1‖² | −0.3 |
| 关节限位 | Σj [max(0, qj − qjmax) + max(0, qjmin − qj)] | −2 |
| 躯干侧倾 | sin²φtorso | −4 |
| 躯干滚转与俯仰角速度 | ωroll² + ωpitch² | −0.05 |
| 终止（摔倒） | ||
| hroot < 0.35 m 或 1 + uz > 0.7 | ||
编码器。在带参考指令的推演上，一项权重为 0.1 的均方损失把速度潜变量拉向同一时刻动作编码器的潜变量，并对动作潜变量做停止梯度。
推演、奖励与终止。每个接口的想象推演都从该接口自身仿真环境记录的状态出发。RL 编码器的速度推演使用速度跟踪奖励与仅摔倒终止（表 A.6）；蒸馏基线的推演使用附录 A 的动作跟踪奖励与终止条件。
协议。从站立开始，策略接收一条固定指令 5 秒；每条指令测试四次。相对稳态误差是最后 2 秒平均速度误差的范数除以指令范数，根速度在航向坐标系下测量。逐指令取值为未摔倒各次试验的中位数。672 个阶跃响应在三个平面上各构成 15×15 的网格，覆盖上述均匀指令范围，不含站立指令。图 7 中误差大于 0.9 的按 0.9 绘制，四次试验全部摔倒的策略绘制在封顶值处。
结果。RL 编码器在 672 个阶跃响应中的 650 个上误差更低，蒸馏编码器在 15 个上更低；两者相对误差的中位数分别为 0.16 与 0.49。蒸馏在 7 条指令的全部试验中都摔倒，这些指令都把平移与至少 2.8 rad/s 的转向组合在一起，而动作库在这方面几乎没有数据。每个策略使用一个训练种子。