CH-12 人体动作建模的现实约束与研究方向
一段连贯的生成动作进入交互系统后,仍可能无法及时响应新的方向指令,或无法保持与目标物体的接触;映射到机器人时,还可能超出关节和驱动器的能力。离线片段呈现的是给定条件下的运动,实际应用则不断引入新状态、时间要求和执行约束。前述生成、理解与控制方法因而需要放在完整系统中考察。
不同应用对这些约束的侧重不同。例如,背景角色侧重动作多样性与总体自然性,可玩角色要求低延迟响应和准确事件触发,近景表演要求细致接触与时序编辑,机器人还需满足驱动器和接触动力学约束。因此,生成片段的统计质量、制作流程中的可用性和真实系统中的可执行性,是相互关联但不能互相替代的目标。
判断生成动作是否满足应用要求,需要进一步检查五类基础条件:数据覆盖、几何与接触表示、评价特征、在线响应以及执行反馈。2025 年末至 2026 年的 Kimodo、ARDY、MotionBricks 和 SONIC 分别扩展了可控生成、实时动画与物理追踪,为分析各环节的依赖关系提供了具体实例。
1. 高质量动作数据的成本与有效信息
高质量三维动作数据需要同时确定时间、位置、旋转、尺度和身体结构。其采集流程包含设备标定、表演录制、遮挡处理、轨迹清理、骨架求解与重定向;交互数据还需同步物体位姿、场景几何和接触关系。文本描述、接触标注与质量筛选进一步增加配对样本的生产成本。能够用于训练的数据规模,因而取决于传感器精度、行为采集范围,以及清理和标注这些记录的能力。
大规模视频提供了丰富行为,但单目图像无法唯一确定三维深度、遮挡关节与真实接触。重建器的误差可能表现为根漂移、手部偏移和地面穿透。把大量视频转换成动作,可以改善行为与视觉条件的覆盖;用于厘米级接触或机器人执行时,还需要检查这些伪标签的精度。
Kimodo 使用约七百小时光学动作捕捉数据,显示高质量动作库的规模已经显著增长。专业捕获与单目三维恢复仍面临成本和精度取舍:罕见行为、接触场景与硬件条件所需的数据,未必随总小时数同步增长。数据稀缺因此更具体地表现为任务相关条件缺少足够可靠的样本。
配对数据的有效性还取决于标注时间尺度。下图的序列级描述概括完整行为,片段级描述标明转向等阶段的边界,语言改写增加表达变化。只有细粒度标注与实际时间段对应,文本监督才同时提供行为类别与事件顺序。
帧数与独立信息量并不等价。相邻帧具有显著时间相关性,重叠窗口共享大部分观测,多视角记录主要增加同一事件的可见性。数据覆盖需要按任务条件刻画:文本生成关注语义和动作组合,交互生成关注对象几何和接触模式,机器人控制还关注形态、负载与偏离参考的状态。
为描述条件覆盖,可将任务空间划分为 $B$ 个单元,例如动作类别、几何条件、风格与人物的组合。令 $n_b$ 为单元 $b$ 的样本数,$p_b=n_b/\sum_{b'}n_{b'}$ 为经验采样概率,定义覆盖比例与按概率折算的有效支持数:
$C$ 表示非空条件单元的比例,$N_{\mathrm{support}}$ 为按采样概率折算的有效支持数:均匀覆盖 $K$ 个单元时,该值为 $K$;概率集中时则减小。它衡量分布集中度,并不估计时间相关性意义下的独立样本数。单元内部的速度、体型与多样性仍需额外描述。
离散单元是连续条件空间的一个近似。若部署条件为 $c$,距离度量为 $d_C$,训练集的局部支持可以用邻域 $\{c_i:d_C(c_i,c)\le\epsilon\}$ 内的有效观测刻画。该邻域为空表示缺少这一尺度上的局部直接支持,需要跨更大范围插值或外推;即使非空,样本也可能仅覆盖单一接触模式。度量、分辨率 $\epsilon$ 与接触拓扑共同决定覆盖含义,总帧数不能单独描述这种结构。
重复裁剪同一运动会提高其经验权重,却不扩展条件支撑集。文本改写能扩展语言表达的覆盖,但对应的三维几何仍由同一条运动提供。训练采样需要同时区分语言变体、几何变体与独立执行事件,才能判断新增数据改善的是哪一种泛化能力。
2. 长尾泛化与人体动作的固有约束
覆盖不足形成了长尾问题:少数常见条件占据大量样本,低频条件缺少训练支持。障碍高度、物体宽度、转身速度和支撑状态都是连续变量。即使在 MotionBricks 所使用的大规模动作库中,针对特定障碍高度的跨越动作仍可能只有很少样本;在新几何下,模型容易选择熟悉的步幅和抬脚高度。
长尾误差可能集中在几何参数而非动作类别。例如,生成器可以正确响应跨越指令,却因障碍高度超出训练覆盖而抬脚不足;也可能生成正确的搬运类别,却沿用不匹配新物体尺寸的抓握位置。因此,语义泛化与几何条件泛化应分别衡量。
除训练数据的覆盖范围外,输出还必须符合人体本身的结构。旋转应落在合法旋转群中,关节通过骨架连接,骨长应与体型相容。逐帧平滑的位置未必能由同一个骨架产生,合法关节旋转也未必得到无碰撞的网格。位置、旋转与表面之间存在转换关系,一种表示上的低误差可能在转换后变成接触偏移或穿透。
时序建模还需同时处理连续状态与离散接触事件。关节位姿连续演化,落脚、抓握和释放则改变接触模式及约束集合。对所有通道统一平滑可能削弱事件边界,逐帧最小化距离则不能保证接触期间的相对静止;生成表示和目标函数需要保留这两类结构。
这类系统可表示为混合状态 $(q,v,m)$:配置 $q$ 与广义速度 $v$ 在接触模式 $m$ 内连续演化,模式切换则改变接触 Jacobian 和可用支撑力。刚性碰撞模型还允许速度经冲量映射发生跳变。对整段轨迹施加单一平滑先验,容易混淆测量噪声与真实的模式边界;接触分段、相容速度和冲量条件需要在相应时间尺度上分别建模。
ARDY 使用运动学生成器,动力学没有直接进入生成过程,结果仍可能出现脚滑与抖动。Kimodo 也采用后处理减小约束偏差与脚滑,其 G1 骨架后处理效果尚有限。因此,旋转和关节参数合法只是第一项要求;接触期间的相对运动,以及实现这些轨迹所需的支撑力和驱动力,还需分别满足几何与动力学条件。
3. 评价特征与可观测误差
几何穿透或接触滑动未必能在常用评价分数中显现,因为这些指标通常先将动作编码为 Motion Embedding(用于比较动作的特征向量),再计算样本相似性或特征分布距离。文本–动作检索强调语义对应,FID 衡量特征分布差异;两者对误差的敏感性取决于编码器保留的变量。如果编码器弱化世界位置或局部接触,相近分数仍可能对应不同的任务质量。
以根相对关键点为例,评价特征可能先计算
给所有关节同时加上任意随时间变化的平移 $a_t$,得到相同的 $u$。这个不变性适合减少场景位置的影响,却可能隐藏整体漂浮、根漂移和接触脚的世界滑动。评价实际世界关系时,需要额外恢复根与环境条件。
评价映射 $F$ 若满足 $F(X)=F(\tilde X)$,任何只依赖该特征的指标都无法区分这两个序列。根相对特征把一整类随时间变化的共同平移归入同一等价类。对原始逐帧特征做时间均值或最大池化,也对帧排列不变,因而无法恢复先后关系;若池化前的编码器已经注入时间位置,这一结论则不能直接套用。评价缺失的是特定变量的可辨识性,增加样本量不会恢复被映射删除的信息。
训练奖励与测试指标使用同一个编码器时,生成器可能逐渐适应该编码器敏感的特征,而忽略其难以观察的误差。这种 reward overoptimization(过度优化特定奖励而未同步改善真实质量)使测试分数与实际质量之间出现偏差。独立特征编码器、显式几何指标、人类偏好评价和下游任务结果分别提供补充证据,用于判断分数改善是否对应实际质量提升。
MotionRFT 的奖励依赖数据分布,对真实人形机器人的动力学与接触可行性覆盖有限。语义、偏好和真实感奖励改进了生成分布,动力学仿真与实际反馈则提供执行层的目标,两类监督具有不同的作用。
平均数可能隐藏尾部失败。例如,少数严重穿透与普遍的小偏差,可能形成相近均值;分位数、严重失败率与失败类型保留了这一差别。生成后筛选改变了候选分布,也增加了获得可用动作的成本。
测试集中的常见行为用于观察模型对已覆盖分布的拟合,罕见几何条件用于观察长尾误差,训练外的动作或对象类别用于观察迁移能力,而相互矛盾的输入条件用于检查系统如何处理不可行请求。可行条件下的生成误差,与条件冲突导致的失败,需要分开分析。多次采样的失败率进一步描述生成分布的稳定性。
4. 实时吞吐、指令延迟与历史成本
提高生成速度可以缩短计算等待,但新动作何时被执行,还取决于旧参考的播放进度与可替换范围;环境变化能否被及时处理,则进一步取决于反馈。实时动作系统因此需要联合分析生成器、参考队列和反馈控制器。其中,吞吐量约束参考能否持续供应,指令延迟约束新条件何时进入可执行参考,反馈延迟约束系统使用的状态有多陈旧。这三个量分别作用于调度、参考更新与闭环稳定性,一次模型推理完成所需的时间,只描述从条件输入到候选片段产生的计算过程。
物理运动帧记为 $t$,生成任务编号记为 $n$,低层控制周期记为 $m$;扩散步 $k$ 和 flow 参数 $s$ 仅描述一次生成内部的采样过程。例如,高层参考可按 20–50 Hz 刷新,低层力矩或 PD 回路可按 500–1000 Hz 执行,这些是多速率设计的示例,具体频率取决于硬件与控制架构。以 20 fps 记录的动作,通过插值送入 1 kHz 控制器后,控制器每毫秒都能使用当前反馈更新力矩,但原始动作观测仍只有每秒二十帧。
4.1 参考供应与队列稳定性
设串行生成第 $n$ 个动作块需要 $C_n$ 秒,块包含 $H_n$ 秒的可播放运动,计算开始时队列剩余 $B_n$ 秒。在计算期间持续消费旧参考、完成后整块入队的模型下,
$U_n$ 是该周期的参考供应缺口。长期平均供应至少需要不低于消费速率,保留裕量可采用 $\mathbb E[C_n]<\mathbb E[H_n]$;这一平均条件并不保证每个周期都满足截止时间。计算长尾、调度抖动与连续慢请求仍会耗尽有限缓存,因而应同时分析耗时分布与可接受的下溢概率。若供应长期超过消费而不节流,队列反而持续增长并积累旧计划。
4.2 指令进入参考的延迟
设一条新指令到达后,剩余旧缓存为 $B$ 秒,新片段计算耗时为 $C$ 秒。在旧缓存不能替换、计算并行进行的简化条件下,新片段最早开始时间为
这里的最大值来自两个并行条件:旧计划结束与新结果就绪必须同时成立。若新片段必须等旧片段播放结束才开始计算,等待时间与计算时间则需相加;若允许撤销尚未执行的参考,$B$ 的影响取决于允许替换的起始时刻。过渡阶段还要与当时的配置、速度和接触模式衔接。
指令进入参考、身体出现响应与任务完成分别对应不同时间戳。将新参考送入控制器可以很快,改变身体动量却需要有限接触力和执行器输出。急停延迟因此不能仅按网络返回时间评价,还应包括可实现的减速轨迹与接触切换。
4.3 反馈陈旧性与闭环稳定性
令连续物理时刻为 $u$,控制器当前使用的观测时间戳为 $u_{\mathrm{obs}}$,则Age of Information(AoI,当前所用观测距今的时间) 为 $A(u)=u-u_{\mathrm{obs}}$。感知、通信、估计和调度使 $A(u)$ 增大;生成队列还可能继续执行依据更旧条件计算的参考。指令队列延迟与低层传感反馈延迟应分别计量:前者影响计划适应速度,后者直接进入稳定反馈回路。
对固定接触附近的局部线性离散模型,设误差为 $e_m$,采用延迟 $d$ 个控制周期的状态反馈,可写为
$A_d,B_d$ 为离散系统矩阵,$K_c$ 为反馈增益,$w_m$ 汇集扰动和建模误差。无延迟时,误差由矩阵 $A_d-B_dK_c$ 更新;引入延迟后,控制器作用于此前误差,系统状态还必须包含这段误差历史。因此,原无延迟系统稳定,并不保证加入延迟后的增广系统仍然稳定。连续时间的纯延迟在频率 $\omega$ 处引入相位损失 $-\omega D$;在单一主交越、局部线性且原闭环稳定的假设下,相位裕量 $\varphi_m$ 给出近似延迟预算 $D<\varphi_m/\omega_c$。多交越、接触切换、力矩饱和和模型不确定性需要更完整的分析,不能仅依赖该估计。
高频低层反馈能够补偿部分跟踪误差,却不能使不可行参考变得可行,也不能恢复未被感知的接触状态。高低层以不同频率运行时,需要明确参考如何连续衔接、观测来自哪个物理时刻、计算结果何时必须就绪,以及控制器能够执行哪些参考。
4.4 历史压缩与滚动规划
ARDY 将全局根运动保留为显式特征,把身体动作按短时 patch 编码为 body latent(身体运动的压缩特征),再将两者组合为 hybrid representation。Root denoiser 先预测 clean root motion,body denoiser 以该预测为条件恢复 clean body latent;生成器既读取可变长度历史,也读取在时间和关节上稀疏的未来约束。全局轨迹因此可以直接参与控制,而身体运动仍在紧凑特征中生成。
训练约束从真实姿态中采样,与动作文本共同作为条件。推理时,约束可以位于当前生成窗口之内,也可以位于更远的未来;已经生成的片段进入历史,下一窗口继续结合更新后的条件生成。这种组织方式扩大了长时目标对当前片段的影响范围,历史窗口长度则决定保留多少过去的行为信息,以及每次生成需要处理多少上下文。
缩短生成块 $H_n$ 可以减少一次固定计划的持续时间,但也增加调度频率与片段衔接次数。减少去噪步改变的是单块计算 $C_n$,提高动作采样率改变的是相同物理时长内的帧数;两者对队列的影响不同。滚动规划只执行预测窗口的前段,并利用新观测重算后续参考,以缩短条件陈旧时间,其有效性仍依赖每次规划满足计算截止时间。
历史压缩应保留对未来决策充分的状态,而不是仅保留运动外观。当前对象身份、接触模式和已完成任务阶段决定后续约束;这些量被合并后,外观相似的历史可能导向不同正确动作。在部分可观测环境中,单一估计还可能不足以描述状态,系统需要维护对对象与接触的不确定性,并在后续观测到来时更新。
5. 游戏、影视与 VR 的具体接口
这些响应与质量要求,在游戏中落实为输入、移动控制、姿态、碰撞和事件之间的接口。脚步音、攻击判定、抓握和技能阶段都有触发时机,事件重复或晚触发会直接影响玩法。Motion Matching 根据当前姿态和期望轨迹,从动画数据库中搜索合适片段;UE 5.6 的文档还组织了查询特征、数据选择与动画通知。它展示了一个可用动画系统需要维护的数据和诊断接口。
片段选对之后,还需要适应当前环境中的目标。例如,攀爬时手要到达墙沿,攻击时角色需要接近目标位置,移动目标则要求更新参考。Motion Warping 在指定时间窗口内调整根运动,使已有动画与目标变换对齐。生成式系统可以替代或配合这些步骤,但控制接口仍要定义目标精度、允许偏差和动作中断后的衔接方式。
控制条件增多后,制作系统需要支持模块组合、参数调节和误差定位。Control Operators 将控制信号组织为可训练的组合算子,通过统一形式表达多种交互控制。其用户研究同时反映了神经模块的实际编辑成本:局部误差来源较难定位,精细修改与训练迭代也会影响制作效率。
组合控制的优势在于同一生成器可以处理不同类型的任务输入。下图将路径、方向、位置和身体姿态条件关联到具体运动;这些条件既需要被编码为网络输入,也需要在制作工具中保留可调参数与明确的语义。
除生成阶段的控制外,制作流程还要求结果可编辑、可恢复。角色资产、约束、后处理与模型版本共同决定动画;局部返修需要保留未修改的接触和事件,并能够恢复先前版本。这使可重复生成与局部编辑成为制作接口的实际功能。
设置角色与约束、生成动作、检查质量、局部修改和接入作品,都需要制作时间。获得一段可用动画的总时间可写为
采样速度仅影响 $T_{\mathrm{generate}}$。保留关键接触、支持局部重生成并兼容既有动画事件,可能同时降低检查、返工和集成时间。因此,制作效率应以可用结果的总成本衡量,而非仅比较生成吞吐。
影视和镜头动画强调表演意图与局部时序编辑,例如调整手部提前量、停顿持续时间和身体重心。骨架序列需要映射到角色 rig,并保留可编辑曲线和层级。Control Rig 与 Sequencer 提供关键帧及分层修改接口,说明生成结果进入制作流程时还需维持可编辑的控制结构。
VR 还受到稀疏观测和实时反馈影响。头与两只手的位置不能唯一确定躯干和下肢;补全需要根据人体先验推断,同时避免改变用户已测得的手部姿态。足部推断自然与手部准确、低延迟是不同要求,远端互动还需要考虑双方共同坐标与网络状态。
MotionBricks 已把生成器接入 UE5 导航、物体交互和机器人仿真接口。模块化原语能够组织连续动作,运动学规划仍缺少直接的动力学意识,真实部署也需要补充视觉与空间状态估计。生成技术进入完整系统后,数据覆盖、局部编辑和执行反馈依然互相约束。
6. 机器人可观测状态与任务成功
制作流程主要检查动画与作品要求的匹配,机器人还要检查实际执行后果。形态重定向需要满足自由度和关节限位,控制需要满足力矩、速度、接触与反馈条件。硬件能够摆出某种静态姿态,仍可能无法以给定速度完成整段运动;参考中的脚底固定,也不能直接确定真实地面提供的支撑力。
执行之外,系统还需要估计当前环境。仿真可以直接读取精确物体位姿和完整地形,这类在训练中可用、真实部署时未必能够观测的状态称为 Privileged Information(特权信息)。MotionBricks 的限制讨论指出,真机需要额外的视觉与空间估计接口,其物体交互模块需要根据真实观测更新对象位姿与场景状态,才能提供部署时所需的条件。感知误差会先影响规划,再传到接触与控制。
任务能力可通过环境干预后的闭环行为检验。例如,目标对象位移应触发计划更新,抓握失败应触发恢复,路径阻塞应触发重新规划。低层控制器即使准确追踪旧参考,也可能无法完成变化后的任务。空间理解与任务执行因此需要结合状态估计、目标更新和反馈策略评价。
从部分可观测决策过程看,参考轨迹只是策略输出的一部分。设环境隐状态为 $z_m$、观测为 $o_m$,决策应依赖由历史观测与动作形成的 belief $b_m(z)$,或其近似状态表示。单纯按预设时间播放参考相当于忽略新观测对后续决策的影响。它可以完成条件稳定的示范执行,但不能据此推断系统具备对象变化、接触失败和任务中断下的闭环能力。
SONIC 将运动追踪器与上层任务模型连接起来:苹果取放任务中的上层模型给出手腕、头部和导航等目标,追踪器将这些目标转为全身控制。持续执行时,安全接触、柔顺响应、能效与噪声输入仍需要进一步解决:追踪误差下降并不会自动消除持续执行中的能耗和接触风险。
已知参考追踪、扰动恢复、带感知的操作和任务变化后的重规划逐步引入新的状态变量。执行反馈既可以修正控制器,也可以反向识别不合适的参考与缺少的数据条件,将高层生成与低层控制连接为闭环。
7. 算例:重复数量与条件覆盖
可以通过一个离散条件空间,区分样本总数增长与训练条件覆盖的增长。具体而言,四类动作、三种几何条件和两种风格组成二十四个单元,六条样本只覆盖六个;逐条复制一百次增加了样本数,却保留原来的覆盖。
1 | import itertools |
运行结果:
1 | base: 样本=6, 条件覆盖=25.0%, 有效单元数=6.0 |
改变物体几何,并同步调整人体接触位置,可以增加新的几何条件;只重复文本或更换无关背景,则主要增加已有运动的样本权重。描述数据质量时,需要同时说明覆盖了哪些条件,以及同一条件下有多少种运动变化:每个条件有一条样本,仍不足以表示其速度、噪声和动作多解。
8. 算例:缓存与响应时间
队列算例固定片段计算时间,比较旧计划不可撤销与允许替换两种调度协议。替换接口假设新片段能够接续当前状态,计算结果刻画调度造成的参考等待。身体完成减速或接触切换所需的物理时间,则由当前运动状态与接触条件决定,需要在执行层另行估计。
1 | import numpy as np |
运行结果:
1 | 旧缓存=0.00 s: 首次新响应=0.08 s, 过渡完成=0.28 s |
算例中,较多缓存能够在生成计算变慢时维持播放,但不可撤销的缓存越长,新指令就要等待越久。允许替换尚未播放的参考可以缩短等待,但新片段的起点必须与当时的姿态、速度和接触状态相容。对抓握、着地等不可任意中断的阶段,可替换范围还依赖离散任务状态,因此低延迟生成需要状态相关的调度。
9. 算例:局部姿态评价的盲区
根点—支撑脚算例构造了评价映射的非唯一原像。恒定竖直平移和随时间变化的水平平移都被根相对投影消去,却分别改变地面间隙和接触速度。局部特征相等与世界运动相等因此具有不同含义。
1 | import numpy as np |
运行结果:
1 | reference: 局部姿态误差=0.000000 m, 足部高度误差=0.000 m, 足部滑动=0.000 m |
这里的失败由映射的不变性决定,与分类器容量无关。只在根相对特征上增加更强评价网络,仍无法恢复已经消除的世界平移。根轨迹、接触间隙和相对速度需要作为独立观测进入评价,语义匹配则负责描述它们与任务条件的关系。
10. 数据、生成与执行之间的联系
数据覆盖与控制可行性通过执行误差相互关联。例如,缺少特定几何或接触状态的样本时,生成器可能产生不适合环境的参考;控制器为追踪该参考又可能产生过大的驱动力。将执行结果反馈到样本选择、参考生成和约束建模,可以使数据扩充集中于实际失败条件。
中间表示决定这些反馈能否传递。具体而言,只有姿态的接口难以表达抓握是否完成,只有目标点的接口难以表达身体朝向与支撑阶段。接触、对象状态、事件和不确定性提供了更细的状态变量,也增加了标注与推断的成本。生成器、规划器和控制器的接口设计,因而与单个网络的建模能力同样影响系统质量。
与上述系统环节相对应,评价指标需要分别说明其测量的目标:语义指标描述指令对应,几何指标描述空间和接触关系,物理追踪描述可执行性,制作流程指标描述编辑与集成成本。Kimodo、Control Operators、MotionBricks 和 SONIC 分别作用于约束输入、控制组合、实时组织和物理执行,评价这些方法在完整系统中的作用,需要检查各自输出能否满足下一环节的输入要求,以及最终任务是否成功。
长时任务进一步要求状态闭环:已经执行的动作成为下一段的起点,环境变化改变后续目标,失败需要触发恢复或重新规划。生成式动作的研究因此逐步从片段质量延伸到状态估计、接触维护、局部编辑与任务反馈,形成连接数据、动画和机器人执行的共同问题。
参考资料
Davis Rempe, Mathis Petrovich, Ye Yuan, Haotian Zhang, Xue Bin Peng, Yifeng Jiang, Tingwu Wang, Umar Iqbal, David Minor, Michael de Ruyter, Jiefeng Li, Chen Tessler, Edy Lim, Eugene Jeong, Sam Wu, Ehsan Hassani, Michael Huang, Jin-Bey Yu, Chaeyeon Chung, Lina Song, Olivier Dionne, Jan Kautz, Simon Yuen, and Sanja Fidler. Kimodo: Scaling Controllable Human Motion Generation. Technical report, 2026.
Kaifeng Zhao, Mathis Petrovich, Haotian Zhang, Tingwu Wang, Siyu Tang, and Davis Rempe. ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation. ACM Transactions on Graphics, 45(4), Article 86, 2026.
Tingwu Wang, Olivier Dionne, Michael De Ruyter, David Minor, Davis Rempe, Kaifeng Zhao, Mathis Petrovich, Ye Yuan, Chenran Li, Zhengyi Luo, Brian Robison, Xavier Blackwell, Bernardo Antoniazzi, Xue Bin Peng, Yuke Zhu, and Simon Yuen. MotionBricks: Scalable Real-Time Motions with Modular Latent Generative Model and Smart Primitives. ACM Transactions on Graphics, 45(4), Article 85, 2026.
Ruiyu Gou, Michiel van de Panne, and Daniel Holden. Control Operators for Interactive Character Animation. ACM Transactions on Graphics, 44(6), Article 231, 2025.
Xiaofeng Tan, Wanjiang Weng, Hongsong Wang, Fang Zhao, Xin Geng, and Liang Wang. MotionRFT: Unified Reinforcement Fine-Tuning for Text-to-Motion Generation. arXiv preprint arXiv:2603.27185, 2026.
Zhengyi Luo, Ye Yuan, Tingwu Wang, Chenran Li, Fernando Castañeda, Sirui Chen, Zi-Ang Cao, Jiefeng Li, David Minor, Qingwei Ben, Jinhyung Park, David Sami, Zi Wang, Xingye Da, Runyu Ding, Cyrus Hogg, Lina Song, Edy Lim, Eugene Jeong, Tairan He, Haoru Xue, Wenli Xiao, Simon Yuen, Jan Kautz, Yan Chang, Umar Iqbal, Linxi Fan, and Yuke Zhu. SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control. Science Robotics, 11(117):eaed4592, 2026.
Epic Games. Motion Matching in Unreal Engine. Unreal Engine 5.6 documentation; accessed October 5, 2026.
Epic Games. Motion Warping in Unreal Engine. Unreal Engine 5.6 documentation; accessed October 5, 2026.
Epic Games. Animating with Control Rig in Unreal Engine. Unreal Engine 5.6 documentation; accessed October 5, 2026.
Resources and figure credits
- Numerical examples.
- Kimodo annotation example: technical report, Figure 7; model limitations.
- ARDY architecture: official project.
- Control Operators examples: paper, Figure 1; reference implementation.
- MotionBricks teaser: official project, Figure 1. Website source: CC BY-SA 4.0.
- MotionRFT repository.





