CH-09 人体与物体的交互动作
以搬运箱子为例,手部需要在抓握阶段随物体运动,身体姿态也要与足部支撑相协调。若分别生成人体与物体的轨迹再将二者组合,即使两条轨迹各自平滑,也可能出现手部脱离表面、身体穿透物体或释放后物体漂移。问题在于,接触会改变允许的相对运动:接近、抓握、运输与释放具有不同的约束,不能仅靠轨迹平滑性统一描述。人体与物体交互动作生成(Human–Object Interaction Generation)因此需要联合建模人体姿态、物体位姿与接触拓扑,使连续运动与接触阶段保持相容。
这种耦合依赖两个层次的空间信息:物体局部几何决定可接触区域,物体位姿决定这些区域在世界坐标中的位置。语言指令再将局部接触与全局任务联系起来。例如,将椅子搬到桌旁,既要求物体到达目标,也要求人体在搬运过程中维持抓握与支撑。建模由此围绕任务语义、空间轨迹和局部接触展开,并根据已知条件选择物体运动引导、稀疏路标联合生成或分层轨迹规划。
1. 生成条件、联合状态与任务设定
将人体动作序列记为 $X$,物体的逐帧位姿序列记为 $O$,物体局部坐标系中的表面几何记为 $G$,语言指令记为 $c$。物理帧索引统一为 $t\in\{0,\ldots,T-1\}$,采样间隔为 $\Delta t=1/f$;扩散步使用 $k\in\{0,\ldots,K\}$,其每一步更新整段序列,而非推进一帧物理运动。固定的局部几何 $G$ 经逐帧位姿 $O$ 映射到世界坐标,一般的联合生成分布为
其中 $W$ 表示目标点或稀疏路标。不同条件设定对应不同的生成任务:物体运动条件生成给定完整 $O$,预测人体序列 $X$;稀疏路标条件生成只固定部分物体位置,联合推断中间轨迹、旋转与人体动作;目标条件生成则将全局路径也纳入预测范围。
初始人体姿态确定人物与物体之间的距离、手部可达范围和身体朝向。只给出终点而不提供物体轨迹时,模型还需要推断通往该终点的路径、抓握位置和接触切换顺序。相同终点可以对应多种合理方案,因此生成器需要表达这些方案的条件分布,而非仅预测一条平均轨迹。网络因而需要同时学习连续运动与离散接触模式之间的耦合,单一终点回归不足以描述这些多解。
上述表示适用于刚性物体。对于其他结构的对象,门与抽屉还需要铰链角度或滑动位移,布料则需要描述非刚性形变。交互对象的结构改变了状态空间和接触约束,因此刚体搬运、铰接物体操作与柔性物体操作需要不同的表示与模型。
人体与物体交互常缩写为 HOI,但同一缩写也用于静态图像中的人–物关系检测。这里的输出是三维、随时间变化的运动,必须区分其表示、监督与评价协议。
2. 物体位姿与接触的几何表示
2.1 刚体位姿与表面几何
刚性物体的配置属于 $\mathrm{SE}(3)$。令 $T_{wo,t}$ 将物体坐标映射到世界坐标,$T_{wh,t}$ 将手部局部坐标映射到世界坐标,则
这里 $g_i$ 为物体局部表面点。手部位置 $h_t$ 与离散表面之间的最近距离为 $d_t=\min_i\|h_t-g^w_{t,i}\|_2$。该距离受表面采样密度影响,且无符号距离无法区分接触外侧与浅层穿透。仅使用中心点或包围盒,还会丢失椅背、把手和凹陷处的可接触结构。
点云、网格、Signed Distance Field(SDF,带符号距离场) 与 Basis Point Set(BPS,基准点集) 提供不同的物体几何表示。BPS 固定一组基准点,以各点到物体最近表面的距离或位移构成定长特征,使可变点数的表面能够进入批量网络计算。尺度归一化改变距离数值和人体可达范围,因而接触查询必须恢复实际尺度;定长几何 Embedding 将表面压缩为网络特征,局部细节可能随压缩丢失;手指或手掌与表面的精确接触仍需查询实际物体几何。
旋转输出必须位于 $\mathrm{SO}(3)$。无约束的九维矩阵预测可能产生缩放或剪切,正交化才能恢复刚体意义;但该投影同时改变世界表面位置,因此应在合法旋转恢复之后评价接触误差。相邻帧的物体局部角速度可近似为
其中 $\operatorname{Log}$ 为旋转矩阵对数,$\vee$ 将反对称矩阵恢复为三维向量。这个差分近似要求采样间隔足够短,使相邻旋转能够使用一致的局部分支;高速旋转产生的时间混叠,不能通过增加旋转参数的存储维度消除。
2.2 稳定抓握的相对位姿与速度相容性
理想刚性抓握在手与物体之间建立固定的相对位姿约束:
这比单个手部点接近表面更强:它同时固定相对位置与朝向。若模型仅描述不滑动的点接触,则只能要求局部点 $g_\ast$ 固定,不能据此推断全部六维相对位姿均被约束。两种接触模型分别适用于刚性连接近似与只监督手部位置的生成器。
设连续物理时间为 $\tau$,离散观测发生在 $\tau=t\Delta t$,点号表示对 $\tau$ 求导。采用角速度在前的 twist 排序 $V=(\omega,v)\in\mathbb R^6$,对于 $T=(R,r)$ 有
其中 $[r]_\times u=r\times u$。$V_b$ 是物体系中的 body twist,$V_s$ 是世界系中的 spatial twist,帽符号表示相应的李代数矩阵。Adjoint 变换用于换算同一刚体速度在两个参考系中的表达;点坐标的换算则使用 $Rg+r$。空间 twist 的线性分量 $v_s$ 也不直接等于移动原点的速度,而满足 $\dot r=v_s+\omega_s\times r$。因此,物体原点速度为 $v_o=\dot r^o$ 时,固定局部抓握点的世界速度为
第二式表达零局部相对速度。稳定搬运允许手和物体具有较大的共同世界速度;对这种接触使用手部世界零速度损失,会错误地抑制物体运输。与这种随物体运动的接触不同,固定地面上的足部支撑才要求接触点世界速度为零。此外,接近、抓握与释放还对应不同的激活区间,接触掩码应选择相应时间段,避免将抓握约束施加到整个动作。
2.3 单侧接触与摩擦可行性
几何相容只规定允许的运动,接触力进一步决定该运动能否实现。令 $\gamma_i$ 为第 $i$ 个潜在接触对的法向间隙,$\lambda_{n,i}$ 为压缩方向的法向力。无黏附、刚性单侧接触满足 Signorini 条件
正间隙意味着无接触力,正法向力要求间隙闭合;间隙与法向力均为零时,物体表面可以刚好接触而尚未承受压紧载荷。该位置层互补关系还需结合速度相容性、动力学与碰撞时的冲量模型,才能描述完整接触演化。
在接触切平面中记切向力为 $\lambda_{\parallel,i}$,库仑摩擦约束为
这里使用 $\parallel$ 标识切向分量,避免与物理帧索引 $t$ 混淆。摩擦锥给出允许的力集合,不能单独保证不滑动。黏着模式还要求切向相对速度 $v_{\parallel,i}=0$;滑动时,理想各向同性 Coulomb 模型要求摩擦力与切向相对速度方向相反:
该式用于切向相对速度非零的滑动阶段。多指抓握是否稳定,进一步取决于各接触力经 grasp map 汇总后,能否平衡物体所需的重力、惯性力与外部扰动。
网络中的接触标签、表面距离损失和局部速度损失对应这些约束的可学习代理。它们提高运动学相容性,却未显式求解接触力。物体质量、惯量与摩擦系数属于时序位姿之外的信息,决定了几何上相同的抬升动作是否能够真实执行。
3. 物体运动引导与中间手部表示
物体轨迹规定了操作对象的运动,却没有直接确定肩肘、躯干与下肢应如何协同。手部作为搬运中的主要接触末端,可将这一问题分解为局部接触与全身协调两个层次。OMOMO 用完整物体轨迹引导人体动作:第一阶段根据逐帧物体位置与旋转生成手部位置,第二阶段根据经过接触处理的手部轨迹生成全身动作。
这类分解可以写成
其中 $H$ 为第一阶段生成的手部运动,$\mathcal C$ 用物体表面和运动修正接触位置。第二阶段以修正后的手部轨迹为条件,物体信息通过这个中间表示影响全身生成。手部轨迹约束操作末端,全身模型补充躯干、肩肘与下肢协调,将局部接触精度与全身运动先验分配给不同阶段。
两阶段之间只传递左右手的三维轨迹,因此物体对全身的影响被压缩到六维手部位置中。局部接触修正能够直接调整操作末端,但未必保留物体形状对前臂、躯干和下肢的全部限制。不可达的手部目标与不连续的轨迹会沿条件通道传播,第二阶段的误差因而同时取决于可达性和训练、推理条件分布之间的偏移。
手部可达性与全身无碰撞是不同的几何条件。例如,末端到达目标表面时,前臂仍可能穿过椅背,躯干也可能与搬运路径上的物体相交。因此,手部中间表示需要与全身几何约束配合。
3.1 六维手部轨迹与全身去噪
第一阶段将左右手掌位置拼接为 $H\in\mathbb{R}^{B\times T\times6}$,其中 $B$ 为 batch size,$T$ 为动作帧数。每帧物体表面的 BPS 位移与物体中心位置构成时序几何条件,去噪网络据此预测未加噪的手部轨迹。第二阶段采用二十四个关节的位置与二十二个关节的 6D rotation,每帧共有 $24\times3+22\times6=204$ 个特征通道。左右手掌位置作为已知条件送入全身网络,其余位置与旋转通道由网络预测。这里的特征维度由表示形式决定,不等于人体的独立物理自由度。
两个网络分别训练,均预测 clean motion,并在有效帧上计算 $L_1$ 重构损失。第二阶段训练时使用真实手部轨迹,推理时使用第一级生成并经接触修正的轨迹;这一条件分布差异是级联误差的重要来源。
接触修正在物体表面确定局部抓握点,并利用物体的逐帧刚体变换更新接触阶段的手部位置。修正后的轨迹写入全身状态的已知条件通道,再进行第二阶段扩散采样。物体几何因而通过受约束的手部轨迹传递到全身运动。
相同物体轨迹下的对比突出中间接触表示的作用:单阶段模型与两阶段模型的手–物相对位置不同,连续帧又将局部接触偏差与全身姿态调整联系起来。手部贴合改善后,还需检查肩肘可达性、全身碰撞和足部支撑;这些条件没有全部包含在手部中间表示中。
4. 稀疏路标条件下的联合生成
完整物体轨迹预先规定了搬运路径与时序,限制了生成器的规划范围。当输入仅包含语言意图和少量路标时,物体运动本身也成为未知量。CHOIS 将人体、物体与接触状态拼接为联合序列 $Z$,在物体几何、初始状态和稀疏路标条件下同步生成这些变量。
4.1 人体、物体与接触的联合状态
在含接触监督的配置中,CHOIS 每帧拼接三类变量:物体中心三维位置与九维旋转矩阵,人体的二十四个关节位置与二十二个关节六维旋转,以及四维接触标签。因此 $Z^{(0)}\in\mathbb{R}^{B\times T\times220}$,其中人体部分为 204 维。位置按训练数据的范围归一化,物体旋转可以相对于选定参考帧表示;反归一化与参考旋转恢复把预测送回几何空间。
物体几何采用 $1024\times3$ 的 BPS 位移,展平后经过 $3072\to512\to256$ 的 MLP,再沿时间复制。初始物体状态、末端物体位置、若干水平路标与可用的初始人体姿态,分别占据联合状态中的已知通道。
设坐标的缺失掩码为 $M$,取值 $0$ 表示已知、$1$ 表示未知。未加噪的已知条件可以构造为
模型根据带噪状态、已知坐标、几何特征与文本条件预测 clean state $\hat Z^{(0)}$。上标 $(0)$ 表示整段序列的零噪声层级,与初始物理帧无关。作为网络输入的路标通过条件学习影响输出;直接固定相应坐标则构成硬约束。二者对采样结果的限制强度不同,不能仅依据输入包含路标就假定输出严格通过全部路标。
4.2 几何、文本与路标条件的网络融合
第 $k$ 个扩散层级的带噪状态 $Z^{(k)}$、条件 $Y$ 与几何向量沿特征维拼接,形成 $[B,T,2D+256]$ 的输入。当 $D=220$ 时,每帧包含 696 个通道,再线性投影到 512 维 hidden space。与此同时,CLIP text embedding 与 diffusion timestep embedding 相加,形成附加 condition token;temporal positional encoding 提供帧序信息。随后,四层、四头 Transformer 处理条件与动作 token,移除附加 token 后,将动作特征投影回 $[B,T,220]$,得到 clean state prediction。
基本训练目标为有效帧上的 clean state $L_1$ 重构损失。加入几何监督后,目标还包含接触标签重构、手足 Forward Kinematics(FK,正向运动学)误差及物体表面点误差:
其中 $\lambda_c,\lambda_{\mathrm{FK}},\lambda_o$ 分别控制三类辅助监督的权重。FK 项把预测的关节旋转转换为手足位置,检查它们与真实端点是否一致;物体点项把局部表面点经预测旋转和平移送到世界坐标,约束位姿误差对真实几何的影响。参数误差与表面误差由此在同一个训练过程里联系起来。
4.3 接触引导与反向采样
推理从联合高斯噪声出发,每步读取相同的已知条件。接近去噪结束时,预测接触标签选择手部接触阶段,引导项检查手与物体的间隙、物体局部坐标中的手部相对方向、足部高度及物体穿地。条件特征缩小生成范围,几何梯度进一步修正当前预测,两者承担不同的作用。
条件编码通过训练分布影响生成结果,sampling guidance 则直接对当前预测施加几何修正。设接触与几何能量为 $E(\hat Z^{(0)})$,其梯度可用于调整 clean state prediction:
步长 $\eta_k$ 随扩散层级调节,也与后验方差有关。几何梯度经物体刚体变换和人体 FK 反传至状态通道,将末端间隙转化为位置与旋转更新。增大引导强度,会让采样更新更重视当前几何能量。然而,不一致的接触标签或不可达路标可能使几何目标与已学动作分布发生冲突,导致局部修正破坏其他身体部位的运动。坐标归一化和关节权重还改变梯度尺度,需要在恢复物理量纲后解释。
CHOIS 的引导以几何协调为目标。物体质量与抓握力没有直接进入位姿序列,因此重箱子与轻空箱可能得到相似动画;实际搬运还需要控制器根据负载、接触与平衡条件调整运动。
路标必须满足空间和时间上的可行性。具体而言,相邻目标间距与时间间隔共同决定所需速度,目标位置与物体尺寸共同决定避障条件。规划阶段应排除相互矛盾的输入约束,避免将不可行路径交给局部动作生成器。
语言与路标分别控制操作方式和空间路径。下图左侧保持文本不变而改变路标,右侧保持路标不变而改变文本;两组结果显示空间控制与动作语义在联合生成中的不同作用。
5. 接触数据与多任务建模
上述接触监督与联合条件依赖配对数据,因此数据质量直接影响模型学到的关系。物体位姿、几何、接触部位、接触阶段与文本,都需要在同一时间轴上对齐。手与物体相互遮挡恰好发生在最需要精度的位置,人体拟合也可能在这些帧产生穿透或不可靠的手指姿态。交互数据的成本由捕捉和这些后续处理共同构成。
InterAct 将异构三维人–物交互数据统一为共同表示,并修正接触与手部姿态,支持不同条件下的交互生成。跨来源整合需要统一骨架、物体资产、尺度、时间采样和坐标约定;否则来源相关的几何偏差会被模型误学为运动模式。
对物体几何进行 Data Augmentation(数据增广)时,接触对应、手部目标和局部参考系必须随物体表面一起更新。例如,箱子宽度改变会移动双手抓握区域,仅缩放物体而保留人体轨迹,会把错误接触写入监督。即使几何关系修复,新增质量与惯量也不会由表面变换自动确定,因此形状增广扩展的是几何条件覆盖。
原始采集、清理和几何增广提供不同的信息。替换物体形成的样本共享原动作和捕捉误差,却可以增加几何条件的覆盖。跨物体实例通常保留相似抓握结构,跨类别则可能需要新的接触方式,两者对应不同的泛化难度。
手部表示决定交互的精细程度。手腕位置适合搬运的粗粒度协调,指尖捏取与旋拧则需要手指自由度及相应接触数据。密集人体网格描述表面形状,接触力仍是另一类需要观测或求解的状态。
6. 轨迹规划与细节动作的解耦
从完整物体轨迹到稀疏路标,模型承担的规划工作逐步增加。若进一步只指定初始状态和目标,路径本身也成为主要未知量。DecHOI 为此将全局路径生成与细节交互动作生成分开:轨迹生成器根据指令、几何、初始状态与目标生成路径,动作生成器再沿这些路径补充人体关节、物体旋转和局部接触。
路径层集中表达全局平移,动作层恢复关节与接触细节,对应条件分解为
其中 $\mathcal T$ 包括人体根与物体的位置轨迹,$C$ 表示输入条件。轨迹层确定全局平移路径,动作层恢复沿路径的全身关节运动、物体旋转与局部接触;共同初始状态约束保证两层输出在时间起点处一致。
6.1 两级条件扩散与密集轨迹条件
首先,Trajectory Generator(TG)保留初始人体与物体状态,以及末帧物体目标位置,结合 BPS 几何特征与 CLIP 文字条件,预测人体根与物体的三维路径。随后,Action Generator(AG)把这两条路径写入全部物理帧的已知位置通道,再生成关节与物体旋转;文本通过 cross-attention 调节两个生成器。TG 以 clean trajectory 的 $L_1$ 误差训练,AG 以完整状态重构误差训练,并通过 FK 约束手足位置。
6.2 手足与物体几何的对抗监督
DecHOI 的判别器读取由 FK 恢复的双手、双脚位置,以及逐帧变换后的物体表面点。它采用 hinge loss 区分真实和生成序列,AG 则提高生成序列的判别分数。这样的输入使局部接触间隙与足部运动进入数据监督,而不必把所有误差压缩为一个全身姿态距离。判别监督约束运动统计,物体负载、接触力与摩擦可行性仍由动力学决定。
分层生成还可以与动态路径规划结合:环境或目标变化后,先更新剩余路径,再生成相应动作。重规划必须以当前已执行状态为边界条件,并维持位置、速度与接触状态的连续性,才能形成可连续执行的运动。
长序列拼接需要传递混合状态:连续部分包括人体配置、物体位姿与速度,离散部分包括接触集合及抓握对应。仅对重叠帧做欧氏插值,既可能破坏旋转流形,也可能跨越不相容的接触模式。若前段终点仍处于承重抓握,后段必须维持相同连接或显式生成释放与支撑转移,才能避免无物理依据的模式跳变。
目标坐标需要绑定明确的物体参考点,例如几何中心、底面中心或指定放置区域。输入与评价采用不同参考点会引入系统偏差。数据接口应同时保存资产坐标到标准物体坐标、标准物体坐标到世界坐标的变换,使目标、轨迹和表面几何共享一致定义。
7. 算例:固定抓握点随物体旋转
二维刚体算例将三维抓握约束限制到 $\mathrm{SE}(2)$ 子群,保留旋转与平移耦合的基本结构。局部接触点为 $(0.5,0)$;物体平移并旋转九十度后,随动物体点与固定世界点属于两条不同的约束轨迹。代码中的 t 为归一化时间采样,连续运动在离散采样点上接受同一局部一致性检验。
1 | import numpy as np |
运行结果:
1 | 随动抓握最大局部误差: 0.000000 m |
随动点的局部误差为零,说明手部始终跟随同一个物体表面点;固定世界点虽然自身速度为零,在旋转物体的局部坐标中却持续偏离原抓握位置。该算例揭示接触残差依赖参考系,不能用世界平滑性替代相对运动一致性。允许沿表面滑动时,可行集合由固定局部点放宽为表面流形,仍需通过法向间隙与切向摩擦分别约束。
8. 算例:软条件与精确条件
控制条件可作为目标函数中的有限权重惩罚,也可定义优化的可行集合。一维路径算例采用差分算子 $D$。Soft constraint(以有限权重惩罚约束误差)的目标为
Hard constraint(直接限制可行解集合)则固定 $x_0=0,x_{T-1}=1$,再最小化差分能量。二者均为凸二次问题,使约束强度的差异与网络误差、非凸几何因素解耦。
1 | import numpy as np |
运行结果:
1 | soft: 端点最大误差=0.125000, 差分能量=0.093750 |
软问题在端点梯度与差分能量梯度抵消时达到最优,因此有限权重一般留下非零残差;硬问题通过等式约束排除这些解。惩罚权重趋于无穷时可以逼近硬约束解,但会恶化数值条件。真实 HOI 还包含非凸旋转约束与离散接触模式,局部引导的收敛和可行性不再由这个凸算例保证;算例确定的是两类接口的数学区别。
9. 联合运动的评价
人体与物体的联合动作,需要分别评价任务条件符合度、接触与碰撞一致性,以及人体本身的运动质量。其中,文本一致性、目标位置和路标误差衡量任务条件;接触间隙、相对滑动和人–物穿透衡量几何关系;脚滑、速度突变与动作分布衡量人体运动。分项指标可以区分路径偏差、接触失效和姿态异常等误差来源。
无符号表面距离无法区分接触与浅层穿透,接触评价还需要表面法线、带符号距离或体积相交检测。抓握稳定性应在物体局部坐标中衡量相对滑动,足部支撑则在地面参考系中衡量速度。
交互模型对新对象的泛化,需要区分物体实例、类别与物理参数的变化。例如,未知椅子实例仍可能保留熟悉的椅背与抓握结构,未知物体类别则可能需要新的接触方式。物体质量、关节自由度和手指操作进一步改变任务状态空间。运动学模型学习人体与物体的位姿关系,力与摩擦约束则属于执行层,二者共同决定交互在真实环境中的可行性。
随机生成的分布也需要关注尾部。均值、分位数与严重穿透率分别反映总体表现、稳定性和失败风险;候选筛选会改变这些统计,因而应与生成器本身的输出分布区分。
参考资料
Jiaman Li, Jiajun Wu, and C. Karen Liu. Object Motion Guided Human Motion Synthesis. ACM Transactions on Graphics, 42(6), Article 202, 2023.
Jiaman Li, Alexander Clegg, Roozbeh Mottaghi, Jiajun Wu, Xavier Puig, and C. Karen Liu. Controllable Human-Object Interaction Synthesis. In European Conference on Computer Vision, 2024.
Sirui Xu, Dongting Li, Yucheng Zhang, Xiyan Xu, Qi Long, Ziyin Wang, Yunzhi Lu, Shuchang Dong, Hezi Jiang, Akshat Gupta, Yu-Xiong Wang, and Liang-Yan Gui. InterAct: Advancing Large-Scale Versatile 3D Human-Object Interaction Generation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025.
Hwanhee Jung, Seunggwan Lee, Jeongyoon Yoon, SeungHyeon Kim, Giljoo Nam, Qixing Huang, and Sangpil Kim. Decoupled Generative Modeling for Human-Object Interaction Synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2253–2263, 2026.
Resources and figure credits
- Numerical examples.
- OMOMO hand model; body model.
- CHOIS preprocessing; denoiser and geometric objectives.
- InterAct repository; DecHOI project.
- OMOMO method overview: official project. OMOMO comparison: paper, Figure 6.
- CHOIS method overview: official project. CHOIS conditional control: paper, Figure 6.
- DecHOI architecture: paper, Figure 2.





