DragNUWA 是一种基于扩散算法的视频生成模型,DragNUWA 模型旨在解决视频生成中的精细控制问题。该模型通过引入文本、图像和轨迹信息,并从语义、空间和时间角度提供精细控制。
模型中的轨迹建模包括轨迹采样器(TS)、多尺度融合(MF)和自适应训练(AT)策略。实验证明 DragNUWA 模型在视频生成的精细控制方面表现出色。
核心功能:
DragNUWA 在语义、空间和时间维度上同时引入文本、图像和轨迹信息,提供了精细控制视频生成的能力。
它采用轨迹采样器、多尺度融合和自适应训练策略,实现了开放域轨迹控制和生成连贯的视频。该模型在实验中展现出优越的细粒度控制性能。