科技魔方

细粒度文字转动画技术MoMask 文本驱动的3D人体运动生成模型

大模型

2023年12月06日

  MoMask是一个创新的3D人体运动生成模型,其核心思想是通过层级量化方案表示人体动作,包括基础层和逐层的残差标记。在模型结构上,引入了Masked Transformer和Residual Transformer,分别用于预测基础层的掩码动作标记和逐渐预测更高层次的标记。这一框架使得MoMask在文本到运动生成任务中表现卓越。

  MoMask的应用不仅局限于文本到运动生成,还展示了在文本引导的时间修复任务中的出色表现。通过展示中,模型成功地完成了对动作片段中特定区域的修复,根据文本描述 inpaint 了中间、后缀和前缀区域,呈现出令人满意的合成效果。

  在实验结果分析中,MoMask通过对残差量化层的变化进行研究,展示了其对运动标记的高保真重建能力。生成方面的比较进一步证明了残差标记的重要性,MoMask在不同组合的标记下能够更准确地执行微妙的动作,相较于其他基线模型表现更为出色。

  论文通过对比MoMask与其他三种强基线方法,包括扩散模型和自回归模型,证明了MoMask在捕捉语言概念和生成更真实动作方面的优越性。这使得MoMask成为文本驱动的3D人体运动生成领域的先进模型。

  MoMask通过引入层级量化和Transformer结构,在文本驱动的3D人体运动生成任务中取得了显著的性能提升,同时在相关任务上也展现了出色的通用性。其在重建、生成和比较方面的实验证明了其在3D人体动作建模领域的卓越性能。

+1

来源:站长之家

延展资讯