同一段人体运动可以作为描述生成的输入,也可以作为文字条件下的生成目标;预测和补全又要求模型利用它的局部片段。这些任务共享运动几何与语言语义,却通常采用不同的编码器、输出头和监督形式。分别建模容易形成重复的表征学习;直接合并接口又面临模态差异:文本通常由离散 token 构成,人体运动则是受几何与时序约束的连续信号,不能仅靠相同的张量宽度获得一致的概率含义。

动作理解与生成的统一建模以共享表征和条件计算组织这些任务,同时保留各自的输入、输出与有效性约束。设计依次涉及三个层次:首先确定运动进入语言上下文的表示形式,其次通过模态标记与 attention mask 区分条件和目标,最后为不同输出定义相应的概率模型。离散表示将动作压缩为有限词汇,可使用词表分类;连续表示保留 latent vector(连续潜向量),需要 diffusion 或 Flow Matching 等连续生成头。MotionGPT、MotionGPT3 与 LLaMo 分别体现了这几种设计。

本文以 $t\in\{0,\ldots,T-1\}$ 表示物理运动帧,采样间隔为 $\Delta t=1/f$;压缩后的 motion token 用位置 $\ell\in\{0,\ldots,N-1\}$ 标记。$K$ 仅表示 Codebook 大小,离散扩散步用 $k\in\{0,\ldots,N_d\}$,连续 flow 时间用 $s\in[0,1]$。生成一个 latent 所需的扩散或积分步数,与该 latent 解码后覆盖的物理帧数是相互独立的量。

1. 双向条件分布与共享模型

1.1 两个方向并非确定的互逆变换

设动作序列为 $X$,描述为 $Y$,文本生成动作建模 $p(X\mid Y)$,动作生成文字建模 $p(Y\mid X)$。一个文字条件通常对应多种动作实现:步幅、手臂摆幅、转身速度和整体风格可以不同。一个动作也可以拥有多个正确描述,其中有些概括整体行为,有些只强调局部事件。

这是一种多对多的条件关系。例如,描述“走路”不足以确定步幅、相位及逐帧关节坐标,固定动作也不对应唯一措辞。因此,统一模型学习的是两个方向的条件分布,而不是可精确求逆的确定性映射。

在这种多对多关系下,“共享”也有不同程度。具体而言,共享 Latent Space 使两个模态的表征可以在同一空间中比较;共享生成模型进一步要求同一骨干能够根据条件输出两种模态。TMR 的检索表征与 MotionGPT 的条件生成骨干分别对应这两种设计。前者可以给已有候选排序,后者还必须决定新的输出内容,所需接口并不相同。

1.2 任务指令改变输入与预测目标

为了让同一个模型区分这些输出要求,可以引入任务变量 $q$,把统一接口写为

其中 $I$ 是已知输入,$O$ 是待预测输出。对于 T2M,$I=Y,O=X$;对于 M2T,$I=X,O=Y$;对于动作预测,输入是一段已知前缀,输出是未来片段;对于中间补全,输入包含前后片段与缺失区域标记,输出是需要补全的内容。

任务指令编码任务类型和输出约束,任务数据则提供对应的输入接口与监督。T2M 和 M2T 分别需要动作解码与运动编码能力;单独改变指令文本并不能建立缺失的模态通路。

除输出类型外,统一模型还需区分各任务的可见范围。例如,预测未来动作时不能访问未来真值;中间补全可以使用缺口后的已知动作;描述整段动作可以读取完整输入。掩码必须与任务条件一致。

2. 离散动作词汇与联合序列

2.1 运动编号与语言词表编号

任务接口明确以后,首先需要解决运动与语言的表示差异。VQ 编码器用 Codebook(向量码本)保存可解码的运动模式,并将动作特征压缩为动作编号 $C=(c_0,\ldots,c_{N-1})$,$c_\ell\in\{0,\ldots,K-1\}$。这些编号表示 Codebook 中的向量,而语言模型的输入编号表示词表条目。因此,接入语言模型还需要建立原子符号与语言词表 ID 的映射。例如,动作编号 3 对应字符串 <motion_id_3>,该字符串被注册为一个 token,再获得语言词表中的实际编号。

Codebook ID 与语言词表 ID 属于不同的索引空间。 设原语言词表大小为 $V_0$,扩展后的 Embedding 为 $E_{\mathrm{LM}}\in\mathbb R^{V_{\mathrm{ext}}\times d_{\mathrm{LM}}}$。若 $K$ 个动作符号被连续注册且此前没有插入其他符号,则映射为 $\pi(c_\ell)=V_0+c_\ell$;一般实现应使用 tokenizer 返回的实际映射 $\pi$。对于批量编号 $C\in\{0,\ldots,K-1\}^{B\times N}$,输入为

这是整数索引变换后的矩阵查询,得到 [B,N,d_LM],而非把 [B,N] 编号直接 reshape 成浮点 Embedding。运动解码器仍读取自己的 Codebook $E_q\in\mathbb R^{K\times d_q}$;同一个 $c_\ell$ 在两个空间中索引不同参数,跨模态训练负责建立二者的任务关联。

如果没有将动作符号注册为原子 token,分词器还可能把 <motion_id_37> 拆成多个子词。序列长度与边界协议随之改变,动作输出解析也会失效。词表扩展与 Embedding 尺寸扩展必须同时完成。

2.2 量化与编号映射算例

最近邻量化把连续 Latent Space 划分为 Voronoi 单元:同一单元内的点共享一个 Codebook ID,边界两侧的任意小扰动却可能改变离散编号。以下二维算例同时刻画这种有损映射和随后的无损词表重编号;输出中的 MSE 仅度量量化失真,编号偏移本身不改变码向量。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import numpy as np

codebook = np.array([[0., 0.], [1., 0.], [0., 1.], [1., 1.]])
latent = np.array([[.1, .2], [.8, .1], [.2, .9], [.9, 1.2]])
distances = ((latent[:, None, :] - codebook[None, :, :])**2).sum(-1)
code_ids = distances.argmin(axis=1)
reconstruction = codebook[code_ids]
base_vocab = ["<pad>", "<bos>", "<eos>", "Generate", "motion", ":",
"text", "walk", "then", "wave"]
K = len(codebook)
symbols = [f"<motion_id_{i}>" for i in range(K + 3)]
vocabulary = base_vocab + symbols
token_to_id = {token: i for i, token in enumerate(vocabulary)}
motion_symbols = [symbols[K]] + [symbols[i] for i in code_ids] + [symbols[K+1]]
language_ids = [token_to_id[token] for token in motion_symbols]
decoded_codes = [symbols.index(vocabulary[i]) for i in language_ids[1:-1]]
print("motion code ids:", code_ids.tolist())
print("language vocab ids:", language_ids)
print("decoded code ids:", decoded_codes)
print(f"quantization MSE: {np.mean((latent-reconstruction)**2):.4f}")
print("vocabulary size:", len(vocabulary))

运行结果:

1
2
3
4
5
motion code ids: [0, 1, 2, 3]
language vocab ids: [14, 10, 11, 12, 13, 15]
decoded code ids: [0, 1, 2, 3]
quantization MSE: 0.0250
vocabulary size: 17

量化误差来自连续点到离散单元代表的投影;词表映射则是有限集合间的单射,逆映射精确恢复原编号。增加 Codebook 大小会扩大名义表示容量,同时增加分类头规模与稀有编号的估计难度。一个编号表示局部几何模式,不必对应具名动作类别。

2.3 Rate–Distortion 与有效码率

以固定长度动作片段为一个随机信源样本,令 $\hat X$ 为重建,$d(X,\hat X)$ 为给定的平均失真度量。Rate–Distortion(率失真)理论描述压缩所需信息量与重建误差的关系。令 $\mathcal P_D$ 包含所有满足下述平均失真约束的条件分布,其率失真函数为

互信息采用以 2 为底的对数,因此 $R(D)$ 的单位是每片段 bits;它描述满足平均失真预算所需的最低信息量。对运动而言,失真应区分关节位置、旋转测地距离、时序导数及接触误差。对不同骨架直接使用未归一化特征 MSE,会改变各物理量的相对代价,因而改变这里讨论的率失真权衡。

若每个片段有 $N$ 个、每个取 $K$ 种值的编号,名义容量为 $N\log_2K$ bits;逐编号定长存储需要 $N\lceil\log_2K\rceil$ bits。实际序列熵满足

运动连续性使相邻编号相关,频繁动作又可能集中使用少量单元,因此名义 Codebook 大小不等于有效信息率。在理想熵编码下,平均码长接近序列熵;Transformer 仍需处理 $N$ 个位置,低熵不会自动缩短其上下文。FSQ 使用固定标量级别的笛卡尔积,若各维具有 $L_j$ 个级别,则 $K=\prod_jL_j$。它省去了学习最近邻原型,但不保证运动数据均匀使用所有组合,也不消除离散化失真。相关量化构造见建模范式中的离散潜表示。

VQ 的 Codebook collapse 指少量码向量承担绝大多数输入;生成分布的 mode collapse 则指模型遗漏了真实条件分布中的模式。二者可以相关,却不等价。即使 Codebook 被充分使用,条件生成器仍可能偏向少数动作;即使整体重建误差很小,低频的接触切换或短暂手势仍可能被量化抹去。

2.4 起止标记与动作序列的合法性

动作序列还需标识起止边界与缺失区域。MotionGPT 为此在 Codebook 范围之外加入结构符号:Codebook 大小为 $K$ 时,编号 $K$ 与 $K+1$ 分别表示动作开始和结束,$K+2$ 表示缺失片段。这些符号控制序列结构,不参与动作码向量查询。

输出解析负责识别动作边界、移除控制符号,并将扩展词表 ID 转换为 $[0,K-1]$ 内的 Codebook ID。边界缺失、空序列或越界编号均无法组成有效的动作潜表示。因此,词表分类与运动解码之间需要明确的结构协议。

3. MotionGPT 的 T5 计算链

3.1 编码器—解码器骨干

有了统一词表,就可以把动作任务组织成条件序列到目标序列的映射。MotionGPT 使用 T5 编码器—解码器结构:编码器读取条件序列,解码器在条件记忆条件下按 autoregressive 方式预测目标。文本与动作共用扩展词表,输入端和输出端仍承担各自的计算职责。

T5 编码器可在有效条件位置之间进行双向注意力;解码器目标 self-attention 保持因果性,并通过 cross-attention 读取编码器结果。对于 M2T,整段动作词汇位于条件端;对于 T2M,文字指令位于条件端。两个任务共享词表与骨干,却拥有不同目标 token。

MotionGPT 的离散动作接口。左侧把连续动作编码为动作词元,右侧的 T5 对文本与动作词元进行条件建模;预测出的动作词元经解码器还原为连续运动。图中两种词表分别保留文字与动作的编码规则。
图1. MotionGPT 的离散动作接口。左侧把连续动作编码为动作 token ,右侧的 T5 对文本与动作 token 进行条件建模;预测出的动作 token 经解码器还原为连续运动。图中两种词表分别保留文字与动作的编码规则。

3.2 运动压缩器与条件张量

HumanML3D 配置的输入为 [B,T,263]。VQ 编码器先将张量转置为 [B,263,T],通过两层步长为 2 的时序下采样与残差卷积,得到 [B,512,N];当 $T$ 为 4 的倍数时,$N=T/4$。每个 512 维向量查询含 512 项的 Codebook,输出整数张量 [B,N]。重建训练用码向量代替编码向量,再以两次上采样恢复 [B,T,263],同时优化重建与 commitment loss。EMA 更新码向量,未充分使用的码可重新初始化。

压缩器训练完成后,动作编号包装为边界与动作符号,并与任务指令一起分词。若条件与目标的有效长度分别为 $L_I,L_O$,T5 的条件 Embedding 为 [B,L_I,d_LM],编码器输出同形状的记忆;目标解码状态为 [B,L_O,d_LM],词表头输出 [B,L_O,V_extended]。$d_{\mathrm{LM}}$ 由所选 T5 配置决定,$V_{\mathrm{extended}}$ 包含普通文字、512 个动作符号和三个结构符号。

条件端的 padding mask 限制有效记忆,目标端的 causal mask 限制文字或动作符号的生成前缀。两种模态经过同一词表头,但损失位置由任务目标决定;运动特征的 263 个连续维度不会直接成为 T5 的分类类别。

3.3 模板、损失与训练阶段

统一接口先确定符号协议,再定义监督位置。动作 Codebook ID 经原子 motion token 映射进入扩展词表,Embedding 与输出分类层随词表同步扩展。任务模板则将文本、动作片段和长度条件组织为输入序列;它规定哪些变量已知、哪些变量需要预测,而非额外改变运动编码器的几何表示。

条件端的 attention mask 限制编码器记忆中的有效位置;目标端经过右移构成 teacher-forced 前缀,causal mask 阻止目标信息泄漏。目标 padding 使用忽略标签,不参与交叉熵。由此,条件可见性与损失可见性得到区分:一个已知动作 token 可以被 attention 读取,却无需在 M2T 中作为预测目标。

完整训练分为运动压缩器学习、运动—语言预训练和任务指令微调。第一阶段用重建监督确定运动词汇;第二阶段在固定词汇上学习运动与语言序列的关系;第三阶段把生成、描述、预测和补全组织成指令条件。统一语言模型的监督路径分别构造条件和目标,交叉熵作用在目标 token 上,动作编码器为它提供固定的编号接口。

3.4 模态条件与输出路径

T2M 以文字和任务指令形成编码器条件,解码器生成动作符号,再经词表逆映射与运动解码器恢复连续特征。M2T 以已有动作符号为条件,输出普通文本 token。两条路径共享参数,但动作重建损失与文字预测损失属于不同阶段,不能把文本交叉熵直接解释为对关节轨迹的几何监督。

M2T 的有效长度首先在运动端确定,经下采样转换为动作编号长度,再加上边界和指令位置;文本评价比较生成描述与语义标注。T2M 则还必须从编号序列恢复物理帧,检查几何、接触和时序连续性。共享骨干并未消除两种输出空间各自的有效性条件。

计算链中存在四种不同长度:原始帧数、有效 motion token 数、含边界符号的动作序列长度,以及完整语言模型输入长度。任务模板中的帧数约束作用于重建运动,动作切片使用 token 长度,语言模型截断则作用于最终输入序列;这三类操作需要遵循编码器的下采样比例和边界约定。

4. 多任务与多粒度监督

4.1 多任务目标与有效权重

上述接口把多种任务转换为目标 token 预测,因此离散统一模型可以把它们都写成交叉熵:

其中 $\mathcal V_q$ 为任务 $q$ 的有效目标位置,$\lambda_q$ 为显式任务权重,$\mathcal D_q$ 为相应数据分布。

对全部有效 token 统一求平均时,较长序列获得更大的损失权重;先按样本平均再按批次平均,则赋予每条样本相同的外层权重。因此,实际优化权重由任务采样概率、有效长度与归一化共同决定,梯度大小还取决于局部误差及网络 Jacobian。

设共享参数为 $\theta$,任务梯度为 $g_q=\nabla_\theta\mathcal L_q$,加权更新为 $\theta^+=\theta-\eta\sum_q\lambda_qg_q$。当局部梯度为 Lipschitz 连续且步长足够小时,任务 $i$ 的变化满足

负梯度内积表示当前参数处的局部冲突。对两个任务,任务 1 的一阶下降要求 $\lambda_1\|g_1\|^2+\lambda_2\langle g_1,g_2\rangle>0$;出现负内积并不必然使加权更新伤害任务 1。任务专属分支可以减少直接竞争的参数范围,分阶段训练和采样调整可以改变更新方向,但长期负迁移仍需相对于单任务基线的泛化性能判断。

4.2 MG-MotionLLM 的粒度扩展

MG-MotionLLM 以统一框架处理粗粒度与细粒度的理解、生成。普通短描述监督整体动作;详细描述监督部位、阶段与局部变化;时间定位监督描述对应的运动片段。不同任务通过指令与数据格式进入模型,而不是把所有描述无区别地接到同一个训练字段。

运动 VQ 编码器提供固定离散接口,T5 根据任务指令区分普通描述、详细描述与生成目标。粒度变化主要改变条件和监督位置;如果压缩器未保留短暂局部事件,增加详细文本监督也无法恢复缺失的输入证据。

细粒度训练还改变正例的定义。例如,如果动作中的一段抬手被局部描述单独标注,那么“整段动作—短描述”与“动作区间—细节描述”是不同监督对象。切片的帧边界与 token 边界需要换算,不能假定任何帧级边界都恰好落在编码器压缩块的边界上。

4.3 梯度竞争的合成算例

二维二次损失可以精确分离梯度方向与曲率项。两个任务在同一参数处具有负梯度内积,逐渐提高 motion 目标权重会改变联合下降方向;当一阶变化恰好为零时,仍可能由二阶曲率导致 text 损失上升。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import torch

theta = torch.zeros(2, dtype=torch.float64, requires_grad=True)
text_target = torch.tensor([1., 0.], dtype=torch.float64)
motion_target = torch.tensor([-1., 1.], dtype=torch.float64)
text_loss = .5 * ((theta-text_target)**2).sum()
motion_loss = .5 * ((theta-motion_target)**2).sum()
gt = torch.autograd.grad(text_loss, theta, retain_graph=True)[0]
gm = torch.autograd.grad(motion_loss, theta)[0]
print("text gradient:", gt.tolist())
print("motion gradient:", gm.tolist())
print("gradient dot product:", float(gt @ gm))
for motion_weight in [.2, 1., 2.]:
new_theta = theta.detach() - .1 * (gt + motion_weight*gm)
new_text_loss = .5 * ((new_theta-text_target)**2).sum()
rounded_theta = [round(float(v), 4) for v in new_theta]
print(f"motion weight={motion_weight:.1f}: theta={rounded_theta}, "
f"text loss={new_text_loss:.4f}")

运行结果:

1
2
3
4
5
6
text gradient: [-1.0, 0.0]
motion gradient: [1.0, -1.0]
gradient dot product: -1.0
motion weight=0.2: theta=[0.08, 0.02], text loss=0.4234
motion weight=1.0: theta=[0.0, 0.1], text loss=0.5050
motion weight=2.0: theta=[-0.1, 0.2], text loss=0.6250

初始 text 损失为 0.5。motion 权重为 0.2 时,text 的自身下降分量仍占优,损失降至 0.4234;权重为 1 时,一阶 text 变化为零,但参数沿第二坐标移动产生 0.005 的曲率代价;权重为 2 时,更新已包含提高 text 损失的一阶分量。这个二维投影揭示了共享参数的多目标几何,不能据一次负内积推断整个训练过程必然发生负迁移。

5. Continuous Latent 表示与生成

5.1 压缩与概率建模的分工

离散词汇使语言接口简洁,但量化会把连续运动压到有限原型上。若需要保留更细的变化,可以使用连续潜变量。连续 VAE 不把潜变量强制投影到有限 Codebook,而是学习条件分布 $q_\phi(Z\mid X)$,再由 $D_\psi(Z)$ 重建运动。通常以重建项和分布正则联合训练:

不过,连续表示虽然省去了有限 Codebook 投影,仍受低维压缩和分布正则约束。令聚合后验为 $q_\phi(z)=\mathbb E_Xq_\phi(z\mid X)$,则

因此 KL 正则同时限制潜变量保留的输入信息,并约束聚合分布接近先验;它与重建损失共同决定压缩容量和重建精度之间的取舍。连续 latent 不具有 $N\log_2K$ 这样的有限字母表容量,实际存储率还依赖数值精度或后续量化。把“没有离散 Codebook”理解为“没有压缩失真”并不成立。

条件采样方差则表示同一文本下动作实现的多样性,并非重建误差。压缩失真比较同一输入及其重建,分布拟合误差比较学习分布与目标分布,数值采样误差比较近似求解与理想生成过程。足部接触、关节范围和非穿透还需相应几何约束,较小的 latent 预测误差不会自动保证这些条件。

运动 VAE 学习已有动作的潜表示与重建,条件生成模型则学习文本对应的潜变量分布。二者的误差来源不同:高质量重建说明数据流形附近的编解码较准确,而生成质量还取决于条件分布能否将采样限制在语义适合、解码稳定的区域。

5.2 文字与动作的输出头

表示连续以后,语言模型的输出接口也要相应改变。文字输出仍可写为词表上的 softmax,动作潜向量却不再对应一个有限类别。设统一骨干输出状态 $h$,文字头计算 $p(y\mid h)$;动作头计算连续分布 $p(z\mid h)$,后者可以通过扩散、Flow Matching 或其他连续生成机制实现。共享上下文与分别建模输出,由此成为两个可以同时成立的设计。

连续向量构成序列位置时也可称为 motion token。此时 token 指计算单元,不要求对应整数类别;next-token prediction 可以分别由离散分类头或连续生成头实现。其概率模型取决于输出空间,而非 token 这一名称。

5.3 序列潜变量与整段潜变量

时序下采样得到的 $Z\in\mathbb R^{N\times d}$ 可以让每个潜位置对应一段时间范围;全局动作 VAE 也可以把整段动作压缩为少量潜变量槽位。两者拥有不同的时间结构。

全局潜变量汇聚整个片段的信息,序列潜变量则保留多个具有时序结构的位置。若编码器读取完整动作,任一潜位置都可能依赖未来帧。因此,潜序列长度与因果性是独立属性,流式生成需要进一步约束编码器的感受野。

6. MotionGPT3:MoT 与 Latent Diffusion

6.1 模态专属参数与共同注意力

连续 motion latent 接入语言上下文后,骨干既要交换跨模态信息,也要适应两种输入不同的统计结构。统一通道宽度解决了接口尺寸问题,却未消除这种差异。MoT(Mixture-of-Transformers)为不同模态配置专属变换,并通过共享 attention 建立信息交换。MotionGPT3 分别设置语言与运动的投影、归一化和前馈参数;模态标记选择对应参数,位置顺序与 attention mask 确定上下文的可见范围。它保留语言骨干已经学习的文字处理方式,同时让新增运动参数适应连续向量的统计分布。

具体而言,第 $i$ 个位置的模态 $m_i$ 决定 Q/K/V 投影及后续前馈计算使用哪组权重。不同分支产生的 Q/K/V 再按原始序列顺序排列,共同计算 attention:

模态专属参数处理各自的输入特征,共同 attention 则允许文字查询读取运动键值、运动查询读取文字键值。$M$ 规定任务允许的读取范围,$d_h$ 是每个 attention head 的宽度;“共享注意力”因此指在共同序列上交换信息,并不要求所有投影参数相同。

在运动表示端,动作 VAE 把归一化特征 [B,T,263] 投影到 256 维,加入可学习分布位置,经九层 Transformer 编码得到均值与对数方差。latent_dim: [1,256] 表示每条动作采样一个全局潜变量,内部排列为 [1,B,256]。有效帧掩码排除 padding 位置;分布位置读取整段有效运动,因此这个潜变量概括整个片段。

在语言输入端,以 GPT-2 small 配置为例,运动理解头将全局潜变量映射为四个 768 维 holder,即 [B,4,768],嵌入语言上下文。先把 256 维 latent 线性投影为 $4\times768$ 个数,再排列成四个 holder:

reshape 仅调整投影结果的排列,不增加原始 latent 的信息量。这些位置共同条件化语言计算,并非四帧或四段独立运动。与自然语言任务前缀相比,holder 为运动特征保留上下文位置,适配器把连续 latent 转成语言骨干可读取的条件向量。配对训练使这些位置能够支持动作描述与生成,但这种条件映射不要求运动空间与语言空间可相互精确求逆。

MotionGPT3 的三阶段训练与双向推理:前两阶段冻结文字分支,第三阶段联合微调;动作输出状态交给扩散头,运动输入则交给文字解码路径。
图2. MotionGPT3 的三阶段训练与双向推理。蓝色为文字分支,橙色为运动分支;阴影表示该任务中未启用的模块。

图中的第一阶段只监督文本条件下的动作输出,冻结文字分支,使新运动分支学习读取已有语言特征;第二阶段继续冻结文字分支,加入动作描述与预测,实现双向对齐;第三阶段解除文字分支的冻结,通过指令联合微调。动作 VAE 在这三个语言—运动阶段保持固定,运动压缩与跨模态学习因而有明确分工。

6.2 占位状态与连续扩散头

在生成方向,条件文本后加入动作边界和四个运动输出占位。骨干一次计算这些位置,抽取 [B,4,768] 条件状态;扩散头结合它们与扩散步,对 [B,1,256] 的带噪全局潜变量去噪。基础扩散头包含三层、宽度 1024 的残差 MLP,通过条件 attention 与 AdaLN(自适应层归一化)调节噪声预测。AdaLN 根据条件生成归一化的缩放与偏移,使相同含噪 latent 在不同文字上下文下接受不同修正。它在 256 维 Latent Space 中建模分布,不对每帧的 263 维特征执行词表分类。

训练从真实动作 VAE 得到 clean latent $z^{(0)}$,随机选择离散加噪步 $k\in\{1,\ldots,N_d\}$。上标表示扩散阶段,与物理帧 $t$ 和 latent 序列位置 $\ell$ 无关:

$H$ 是运动输出占位的骨干状态。文字位置使用下一词交叉熵,连续运动位置使用扩散损失;输入与输出 holder 不作为普通词表分类标签,有效位置掩码限制上下文读取。运动开始标记参与语言预测,结束边界则由运动输出协议加入。两类监督通过各自权重组合,作用于共同的运动分支及跨模态上下文。

推理从 [B,1,256] 高斯噪声开始,以 p_sample_loop 沿反向扩散循环逐步恢复潜变量。潜变量恢复为 [1,B,256] 后送入 VAE 解码器:解码器按目标帧数建立 [T,B,256] 时间查询,读取全局记忆,输出 [B,T,263]。目标长度在解码前给定,四个 holder 的数量不会决定最终帧数。

对应的 M2T 路径采用相反的接口方向:先编码已有运动,将潜变量投影到四个运动输入位置,然后由文字头逐词产生描述。动作潜变量在条件端可完整读取,文字输出保持前缀条件。此路径不需要采样新的动作潜变量,也不经过生成动作的扩散循环。

MotionGPT3 的模态专属计算与输出头。文本位置经词表分类输出 token,运动位置通过条件扩散头恢复连续 latent。
图3. MotionGPT3 的模态专属计算与输出头。文本位置经词表分类输出 token,运动位置通过条件扩散头恢复连续 latent。

图中的 holder 为运动保留上下文位置,左侧适配器建立运动 latent 与语言宽度的映射。中间共享 self-attention 聚合跨模态信息,右侧则按输出空间分流:语言头估计离散概率,运动头将骨干状态作为扩散条件。参数共享和概率模型共享由此得到明确区分。

6.3 重建与生成结果的坐标恢复

VAE 解码首先产生标准化运动特征,反标准化再恢复各通道的物理尺度,根运动积分与局部关节变换由此恢复世界坐标。两个阶段的张量均可具有 [T,263] 形状,维度相同并不意味着单位相同;在标准化空间直接积分根位移,会把统计尺度误作物理位移。

重建将已有轨迹编码后的潜变量送回解码器,误差反映压缩所保留的几何信息。文本条件生成则采样新的潜变量,误差还涉及语义映射和 Latent Space 分布的拟合;比较同一表示下的两类结果,能够区分压缩误差与条件生成误差。

7. 编码器因果性与流式条件

7.1 因果计算的三个环节

连续表示规定了输出空间,流式生成则进一步约束信息可见范围和输出时机。骨干的 causal mask 仅限制骨干位置间的信息流:若 $z_\ell$ 已经通过编码器聚合未来帧,后续掩码无法消除这些依赖。非因果 tokenizer 得到的序列仍可具有合法的 autoregressive 概率分解,但它的 token 前缀不一定对应可独立观测的物理帧前缀。严格在线地编码已发生的运动时,编码器也必须遵守物理时间的可见性约束;这与离线 token 序列能否进行 autoregressive 建模是两个问题。

除了运动编码器和生成骨干,解码器同样需要满足增量输出条件。若恢复当前片段依赖未来 latent,系统必须等待后续预测,从而产生额外缓存延迟。完整流式通路由因果压缩器、按 latent 顺序推进的骨干与增量解码器共同构成。

输出一个潜变量往往对应若干运动帧。系统即使满足因果性,也要先计算骨干状态、采样潜变量并解码片段,才能形成可执行帧。片段大小与采样开销决定第一次输出的等待时间,缓存与执行速度则共同影响后续响应。

7.2 未来帧扰动实验

对于线性时序映射 $z=Ax$,帧级因果性要求 $A_{t,u}=0$ 对所有 $u>t$ 成立,即计算矩阵具有下三角结构。中心均值滤波器包含上三角非零项,左侧均值滤波器只依赖当前及过去输入;扰动未来帧便可暴露前者的非因果依赖。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import numpy as np
import matplotlib.pyplot as plt

x = np.arange(8, dtype=float)
x_changed = x.copy()
x_changed[4:] += 10
def centered(values):
padded = np.pad(values, (1, 1), mode="edge")
return np.array([padded[i:i+3].mean() for i in range(len(values))])
def causal(values):
padded = np.pad(values, (2, 0), mode="edge")
return np.array([padded[i:i+3].mean() for i in range(len(values))])

a, b = centered(x), centered(x_changed)
c, d = causal(x), causal(x_changed)
print("centered prefix difference:", np.round((b-a)[:4], 4).tolist())
print("causal prefix difference:", np.round((d-c)[:4], 4).tolist())
fig, axes = plt.subplots(1, 2, figsize=(8, 3))
for ax, before, after, title in zip(axes, [a, c], [b, d],
["Centered codec", "Causal codec"]):
ax.plot(before, "o-", label="original")
ax.plot(after, "s--", label="future changed")
ax.axvline(3.5, color="grey", linestyle=":")
ax.set(xlabel="Frame index", ylabel="Filtered value", title=title)
ax.grid(alpha=.2)
ax.legend(fontsize=8)
fig.tight_layout()
plt.show()

运行结果:

1
2
centered prefix difference: [0.0, 0.0, 0.0, 3.3333]
causal prefix difference: [0.0, 0.0, 0.0, 0.0]
未来帧扰动下的中心卷积与因果卷积。
图4. 未来帧扰动下的中心卷积与因果卷积。

对真实时序网络,检查必须覆盖所有层。即使卷积本身左侧补齐,按整段序列统计的归一化、双向注意力或包含未来帧的裁剪操作仍可能引入未来依赖。块级因果协议也应说明每个潜变量允许访问的最新帧,而非默认以潜变量编号对应单帧。

8. LLaMo:Continuous Autoregressive Modeling 与 Flow Matching

8.1 因果连续运动单元

为了在连续空间中沿动作时间推进,LLaMo 使用因果 CNN 型连续 VAE,将运动组织成按时间顺序排列的潜向量。这样,骨干可以保留下一位置预测范式:文字位置通过离散词表解码,运动位置通过连续生成头采样下一个潜变量,再把该潜变量放回上下文。与预先设置全局运动槽位的方式相比,动作持续时间由逐步采样与停止预测共同决定。

具体而言,运动输入采用 272 维表示,因果压缩器沿时间下采样四倍,得到 [B,N,32] 的连续潜变量,$N=T/4$。运动适配器将 32 维潜变量映射到语言模型宽度 $d_{\mathrm{LM}}$,文字查表得到同宽度 Embedding;两者按照 [BOS] 文字 [BOM] 运动 [EOM] 文字 [EOS] 的模态边界合并为 [B,L_total,d_LM]。

MoT 根据当前位置的模态选择 RMSNorm、Q/K/V 投影、注意力输出投影和前馈参数,再将各位置的 Q/K/V 放回共同顺序计算 self-attention。causal mask 阻止读取未来位置,padding mask 排除 padding 位置。文本相关参数保持冻结,运动分支学习跨模态适配。已有动作位于描述之前时,文字生成可读取全部运动输入;生成运动时,每个新潜变量只读取已有前缀。

LLaMo 的连续动作建模结构。因果动作编码器把运动压缩为连续潜变量,文本和动作分别经过相应的计算分支,并在共享注意力中交换信息;连续动作输出由流匹配头生成,结束预测决定动作片段的长度。
图5. LLaMo 的连续动作建模结构。因果动作编码器把运动压缩为连续潜变量,文本和动作分别经过相应的计算分支,并在共享注意力中交换信息;连续动作输出由流匹配头生成,结束预测决定动作片段的长度。

8.2 动作时间与采样时间

连续生成头估计当前上下文下的条件 latent 分布。令第 $\ell$ 个动作潜变量为 $z_\ell$,骨干根据文本与已有运动前缀产生条件 $h_\ell$。LLaMo 通过学习噪声到目标 latent 的条件速度场完成采样;训练时可构造线性插值路径:

$s$ 是生成路径参数,既不是秒,也不推进物理动作帧。Flow Matching(流匹配)学习上述路径的条件速度场,训练目标为

生成头读取当前插值状态、生成时间 $s$ 与骨干条件 $h_\ell$,预测从噪声向 motion latent 移动的速度。同一中间状态可能来自不同端点对,平方损失的最优解是条件平均速度场,而非对每个样本都记住唯一端点。推理从噪声出发积分该场,得到当前序列位置的一个 latent。

完成 $s:0\rightarrow1$ 的采样后,autoregressive 位置 $\ell$ 才增加。外层推进运动 latent 序列,内层求解当前 latent 的生成路径;四倍下采样配置下,一个新位置通常支持恢复约四个物理帧,具体边界由因果压缩器协议决定。增加内层积分步数只改变计算成本与求解误差,不延长动作时长。

固定端点的常速度场是 flow 积分的退化情形:速度与当前状态及路径参数无关,Euler 离散化便没有局部截断误差。以下算例将采样步数与 latent 维数显式分开,揭示生成路径离散化与动作时间离散化的区别。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import numpy as np
import matplotlib.pyplot as plt

noise = np.array([-1.0, 0.0, 1.0])
target = np.array([0.2, 0.8, 1.4])
velocity = target - noise # 已知端点给出的精确场,非训练模型
steps = 10
state = noise.copy()
trajectory = [state.copy()]
for _ in range(steps):
state = state + velocity / steps
trajectory.append(state.copy())
trajectory = np.stack(trajectory)
sample_time = np.linspace(0, 1, steps+1)
print("sampled endpoint:", np.round(state, 4).tolist())
print(f"endpoint error: {np.linalg.norm(state-target):.8f}")
print("latent dimensionality:", len(state))
print("sampling steps:", steps)
fig, ax = plt.subplots(figsize=(6, 3))
for j in range(3):
ax.plot(sample_time, trajectory[:, j], "o-", label=f"coordinate {j}")
ax.set(xlabel="Sampling time s", ylabel="One latent vector's coordinates")
ax.grid(alpha=.2)
ax.legend()
fig.tight_layout()
plt.show()

运行结果:

1
2
3
4
sampled endpoint: [0.2, 0.8, 1.4]
endpoint error: 0.00000000
latent dimensionality: 3
sampling steps: 10
常速度场的插值与欧拉积分。
图6. 常速度场的插值与欧拉积分。

算例的零端点误差来自常速度假设,不能外推为学习速度场的一般性质。非线性场同时存在拟合误差与积分误差,增加积分步数只直接控制后者。若解码器局部 Jacobian 的算子范数较大,小 latent 偏差也会被放大为明显关节位移;该 latent 进入后续 autoregressive 条件后,还会改变未来采样分布。连续生成因此同时需要压缩器的局部稳定性、条件分布覆盖和前缀扰动鲁棒性。

8.3 停止预测与分阶段训练

外层 autoregressive 循环还需要学习运动终止条件。文本词表包含 EOS,连续 latent 则没有天然的结束类别。LLaMo 增设 exit head 预测运动是否结束,并与模态起止标记共同控制序列结构。

exit head 为每个潜位置输出一个停止概率。训练把终止位置作为正例,其余有效运动位置作为负例;它因此学习的是序列结束信号,而非某个离散动作编号。过早触发会截断动作,过晚触发则会引入重复或无关尾段。评价时需要检查语义完成度与生成长度,停止分类损失并不能单独表示动作已经完成。固定长度生成、由文本指定长度、模型自行停止,是三种不同的长度协议。

语言位置使用下一词交叉熵 $\mathcal L_{\mathrm{NTP}}$,运动位置使用速度场均方误差 $\mathcal L_{\mathrm{FM}}$,停止位置使用二元交叉熵 $\mathcal L_{\mathrm{End}}$。联合目标为

训练先对齐运动适配器与 Flow Matching 头,再更新运动相关骨干、适配器及生成头,最后只微调运动预测头与停止头。因果 VAE 和文字参数在跨模态学习中保持固定。联合阶段降低 M2T 样本比例,并为一个运动条件抽取四个流时间,缓解较快收敛的文字目标对运动生成的干扰。

连续 autoregressive 还会把采样误差带入后续前缀。为提高解码鲁棒性,压缩器在均值附近加入幅度受限的随机噪声;统一模型的 Teacher Forcing 输入也加入小幅潜变量扰动,使生成头不只适应精确的真值前缀。推理每次采样一个 32 维潜变量,追加到上下文并进行因果解码,直至停止头触发。外层序列延长与内层流积分因此共同构成完整生成过程。

LLaMo 在僵硬拖步条件下生成的运动序列。躯干前倾、手臂前伸与下肢步态共同构成整体动作风格。
图7. LLaMo 在僵硬拖步条件下生成的运动序列。躯干前倾、手臂前伸与下肢步态共同构成整体动作风格。

这种风格条件同时约束躯干、上肢和步态的时间组织。序列 latent 需要保留局部姿态细节,autoregressive 上下文则维持不同身体部位在后续片段中的一致性。图中呈现的是同一生成序列的多个时刻,可据此观察连续姿态的变化。

9. 两种输出接口的完整生成过程

9.1 离散动作的条件解码

T2M 的条件端由任务指令和文字组成,编码器输出供目标端读取的记忆;解码器逐个生成动作符号,直到动作结束标记。解析器移除边界符号,把词表 ID 转回 Codebook ID,动作解码器再将码向量恢复为连续特征。反标准化与关节恢复位于最后一步。

M2T 则先把已有运动编码为动作符号,把它们放到条件端,目标端逐词产生文字。此时,动作解码器不参与预测文本;运动的坐标恢复用于展示输入,与文字解码各自沿不同路径进行。两种任务共用骨干,输出路径由任务及模态边界选择。

9.2 连续动作的条件采样

连续路线先用动作 VAE 把运动压到 Latent Space。M2T 将已有潜变量投影成语言骨干可读取的运动输入;T2M 用骨干状态作为连续生成头的条件,从噪声采样潜变量,再交给动作 VAE 解码。文字端保持词表分类,动作端采用连续概率模型。

MotionGPT3 的全局潜变量接口在采样前给定目标帧长度,解码时一次恢复对应的整段动作。LLaMo 的因果潜变量接口则沿时间不断采样,下一个潜变量依赖已有前缀,停止头决定何时结束。这种长度协议差异直接影响编辑和交互:全局生成适合一次形成完整片段,增量生成可以在后续上下文中接收新条件,同时需要控制片段衔接与累积误差。

10. 联合评价与现存问题

10.1 分别评价压缩、理解与生成

动作压缩器可检查关节位置误差、旋转误差、时间平滑性和接触保持;T2M 可检查文字匹配、动作分布、多样性与几何质量;M2T 可检查参考文字相似性、部位、方向、次数、顺序及虚构细节。这些指标分别反映压缩、生成与理解能力,一个方向的提升并不能替代另一个方向的评价。

除上述运动相关能力外,若模型扩展自预训练语言模型,还应评价纯文本能力。冻结文本分支有助于保留原有计算路径,联合更新则需要检查遗忘;多模态能力与基础语言能力之间的关系应由相同协议的测量说明。

不同动作表示、数据规模、骨干大小与评估器,会影响模型比较。HumanML3D 的 263 维与 LLaMo 使用的 272 维不是同一个输入空间;在恢复骨架后比较位置误差,可以统一一部分几何评价,而特征转换、帧率与根坐标约定仍会影响实际数值。

10.2 往返一致性与独立证据

文字 $Y$ 经 T2M 产生 $\hat X$,再经 M2T 得到 $\hat Y$,可以检查 $Y$ 与 $\hat Y$ 的一致性。若输出变成了“右手抬起”,而条件要求“左手抬起”,往返结果能够提示语义问题。

两个方向共享参数或训练数据时,也可能共享语义偏差。例如,生成器与描述器同时忽略左右部位,往返文本仍可能保持一致;描述器只概括整体行为时,局部异常也可能不进入输出。因此,往返一致性仅提供跨模态闭环的一致性度量。

独立语义评价需要直接从轨迹提取目标部位运动与事件顺序,并使用与训练监督独立的标注或评价器。物理质量则通过接触、穿透和动力学约束单独度量;跨模态一致性与运动可行性分别对应不同的评价目标。

10.3 连续生成的剩余难点

连续表示提供了保存精细变化的可能性,实际保真度仍取决于压缩率、损失度量与训练分布。某些微小 latent 误差会被解码器放大,长序列中的偏差又进入未来条件;过强平滑可能遗漏快速手势,高频噪声则可能表现为抖动。重建项、潜分布正则与生成头需要共同约束这种误差传播。

统一训练还面临目标尺度与收敛阶段的不一致。文字损失较快下降并不单独决定其是否主导共享参数,实际贡献由梯度范数、方向和采样权重共同决定。LLaMo 通过分阶段训练和任务比例调整处理这种耦合;模态专属参数减少部分直接竞争,也相应增加参数与训练成本。

交互应用进一步引入随时间变化的状态与约束。用户临时修改指令时,系统要将新要求与已生成的动作前缀协调;人与人、物体或地面的接触需要保留接触位置和时机,机器人执行还要满足关节与动力学限制。接下来的人—人、人—物与场景任务,将把伙伴、物体和环境状态作为条件,与运动生成共同建模。

参考资料

Chuan Guo, Xinxin Zuo, Sen Wang, and Li Cheng. TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of 3D Human Motions and Texts. In Computer Vision – ECCV 2022, 2022.

Biao Jiang, Xin Chen, Wen Liu, Jingyi Yu, Gang Yu, and Tao Chen. MotionGPT: Human Motion as a Foreign Language. In Advances in Neural Information Processing Systems, volume 36, 2023.

Bizhu Wu, Jinheng Xie, Keming Shen, Zhe Kong, Jianfeng Ren, Ruibin Bai, Rong Qu, and Linlin Shen. MG-MotionLLM: A Unified Framework for Motion Comprehension and Generation across Multiple Granularities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 27849–27858, 2025.

Bingfan Zhu, Biao Jiang, Sunyi Wang, Shixiang Tang, Tao Chen, Linjie Luo, Youyi Zheng, and Xin Chen. MotionGPT3: Human Motion as a Second Modality. In International Conference on Learning Representations, 2026.

Zekun Li, Sizhe An, Chengcheng Tang, Chuan Guo, Ivan Shugurov, Linguang Zhang, Amy Zhao, Srinath Sridhar, Lingling Tao, and Abhay Mittal. LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2026.

Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140):1–67, 2020.

Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow Matching for Generative Modeling. In International Conference on Learning Representations, 2023.

Resources

Figure credits