科技魔方

PhysDreamer:让3D物体符合物理规律动起来

更多场景

2024年04月28日

  在创建沉浸式虚拟体验时,实现真实物体交互至关重要。然而,针对新型交互合成真实的3D 物体动态仍然是一项重大挑战。

  与无条件或文本条件的动态生成不同,动作条件的动态需要感知物体的物理材料特性,并基于这些特性(如物体刚度)来进行3D 运动预测。然而,由于缺乏物质真实数据,估计物理材料特性是一个尚未解决的问题,因为为真实物体测量这些特性非常困难。

  研究提出了 PhysDreamer,这是一种利用视频生成模型学习的物体动态先验知识的物理学方法。通过提炼这些先验知识,PhysDreamer 可以合成对新型交互(如外部力或代理操作)的真实物体响应。

  简单的说,PhysDreamer通过视频生成模型学习不同物体的动力学规律,然后以符合物理规律的方式给3D物体添加运动效果。 如示例,戳一朵花,PhysDreamer可以接近真实的还原花会运动的方向过程。

  研究人员在各种弹性物体示例上展示了PhysDreamer,并通过用户研究评估了合成交互的真实性。PhysDreamer 通过使静态3D 物体能够以物理合理的方式动态响应互动刺激,迈出了向更具吸引力和真实感的虚拟体验的一步。

+1

来源:站长之家

延展资讯