文本到动作生成(Text-to-Motion)任务综述
摘要
文本到动作生成(Text-to-Motion Generation)旨在根据自然语言描述自动合成符合语义的人体运动序列(通常为三维关节轨迹或 SMPL 等参数化人体模型的姿态序列)。该任务连接语言与动作两种模态,在虚拟现实、游戏动画、体育分析、人机交互与辅助内容创作等领域具有广泛应用前景。本文从问题形式化、运动表示与数据集、评价方式、方法谱系以及开放问题等方面对该任务进行结构化梳理。
1. 任务定义与问题表述
1.1 输入与输出
- 输入:一段自然语言文本 $t$,可描述动作类型(如「行走」「挥手」)、风格(如「疲惫地」「欢快地」)、方向、节奏或与物体的交互关系等。
- 输出:一段时序人体运动 $M = {m_1, m_2, \ldots, m_T}$,其中每个时间步 $m_i$ 可为关节角、全局根节点轨迹与局部姿态、或 SMPL/SMPL-X 的 pose 与 shape 参数等。
1.2 形式化目标
在给定文本 $t$ 的条件下,学习条件分布 $p(M \mid t)$,使得生成运动在语义上与文本一致(如动作类别、时序逻辑),且在运动学上合理(物理可行、平滑、少滑步与关节扭曲)。部分工作还强调与参考动作分布或真实动作先验的一致性。
1.3 与相关任务的区别
| 相关任务 | 与 Text-to-Motion 的关系 |
|---|---|
| Motion-to-Text | 逆向任务:运动描述生成 |
| Audio-to-Motion / Speech-driven | 条件为音频或语音而非自由文本 |
| Action Recognition | 判别式:从运动预测类别,不生成序列 |
| Motion Prediction | 常基于历史帧续写,文本条件较弱或无 |
2. 运动表示与常用数据集
2.1 常见表示
- 骨架关节位置/旋转:在根节点对齐或世界坐标系下的 3D 关节坐标,或以四元数/指数映射表示的关节旋转;便于可视化与下游应用。
- SMPL 系列参数:形状参数 $\beta$ 与逐帧姿态参数 $\theta$,可渲染网格,但学习难度与约束与骨架表示不同。
- 离散 token / 码本:将连续运动经 VQ-VAE 等编码为离散序列,便于与语言模型或扩散模型在「序列到序列」框架下统一建模。
2.2 代表性数据集(示例)
- HumanML3D:将多种动作捕捉数据统一为文本–运动对,文本经人工或半自动标注,是该方向最常用的基准之一。
- KIT-ML、BABEL 等:提供不同粒度文本与动作对齐或时间分段,用于更细粒度的语言–运动对齐研究。
数据集选择直接影响模型可学习的语义粒度与泛化能力;实际应用中还需注意训练分布与目标场景(如舞蹈、体育、日常行为)是否一致。
3. 评价指标
3.1 语义一致性(Text–Motion Matching)
- 使用预训练的 文本编码器 + 运动编码器(如在对比学习框架下训练)计算生成运动与输入文本或参考文本的 特征相似度(如 R-Precision、Matching Score)。
- 要点:评价器需在与生成模型独立的数据上训练,以避免「自评偏高」。
3.2 运动质量与多样性
- FID 类指标:在运动特征空间(如关节速度、几何统计或编码器隐空间)上衡量生成分布与真实分布的距离。
- 多样性(Diversity):不同随机种子或不同文本下生成样本在特征空间中的分散程度,防止模式崩塌。
3.3 物理与结构合理性
- 脚接触与滑步、关节限位、轨迹平滑度等,可通过启发式规则或专用检测模块评估;部分工作结合物理仿真或逆向动力学约束在训练或后处理中改善。
实践中应联合报告匹配指标与 FID/多样性,单一指标无法完整反映「又对又好」。
4. 方法分类概览
4.1 检索式方法
从大型运动数据库中检索与文本最相近的片段,可做拼接或微调。优点是真实感强;缺点是受库覆盖限制,细粒度语义与新颖组合能力有限。
4.2 生成式方法
- VAE / CVAE:学习潜变量模型,条件于文本隐向量生成运动;训练稳定但细节与长序列建模常有瓶颈。
- GAN:对抗训练提升真实感;对模式崩塌与训练稳定性敏感,条件信息需与判别器有效结合。
- 扩散模型(Diffusion):近年来在多种运动生成设定下表现突出,通过迭代去噪生成连续运动或在离散 token 上扩散,常与 CLIP 等跨模态对齐模块结合。
- Transformer / 自回归模型:将运动离散化或与连续嵌入结合,按时间步自回归生成,利于长程依赖但误差可能累积。
4.3 统一模态与大规模预训练趋势
将「文本 token」与「运动 token」纳入同一序列建模框架,或利用视觉–语言预训练模型作为桥梁,是提升零样本与组合泛化的重要方向;具体架构随论文快速演进,阅读文献时宜关注 条件注入方式(交叉注意力、AdaLN、Classifier-free guidance 等)与 运动 tokenizer 设计。
5. 挑战与开放问题
- 细粒度时空对齐:长句中多个子事件的时间顺序与持续时间建模仍困难。
- 组合泛化:对训练时少见的主语–动词–修饰语组合是否仍能生成合理运动。
- 多人体与场景交互:当前多数基准以单人为主,与人、物、环境的联合生成仍在发展。
- 评价与人类感知:自动指标与动画师或用户主观评价之间仍存在差距。
- 数据偏见与公平性:捕捉数据人群与场景分布偏向会影响生成结果的普适性。
6. 小结
文本到动作生成是连接自然语言与三维人体运动的核心多模态问题,其技术路线已从早期的检索与 VAE/GAN 拓展到扩散模型与大规模序列模型。理解该任务时,建议同时把握 条件分布建模方式、运动表示与 tokenizer、跨模态对齐 与 评价协议,再结合具体论文中的实验设置进行对比阅读。
参考文献(入门阅读线索)
- Guo et al., Generating Diverse and Natural 3D Human Motions from Text(HumanML3D / TM2T 等相关工作脉络)
- 基于扩散或 Transformer 的 text-to-motion 代表性论文(建议在 Google Scholar 以
text-to-motion generation HumanML3D检索近年发表) - Plappert et al., DeepMimic 等与物理合理动作相关的背景(侧重控制与模仿,可与生成任务对照)
(具体条目请根据你课程或课题组要求替换为正式 BibTeX 引用。)
本文为面向初学者的任务综述,便于在博客首页快速查阅;若需某一子方向(如扩散模型细节或 HumanML3D 使用说明)的专文,可在此基础上再拆篇深入。





