科技魔方

视频生成新突破!PixelDance还可以做复杂动作和特殊效果

大模型

2023年11月24日

  近期,视频生成技术取得了显著的进展,其中PixelDance成为焦点。相较于其他模型如Runway的Gen-2、Meta的Emu Video、Stability.ai的SVD等,PixelDance在生成高度一致性和丰富动态性的视频方面表现出色。

  PixelDance分为基础模式和高级魔法模式两种,前者只需一张指导图片和文本描述,而后者需要两张指导图片,为用户提供更大的创造空间。

  从官方展示的效果来看,PixelDance能够处理不同风格和复杂度的指导图片,包括真实风格、动画风格、二次元风格和魔幻风格。不仅如此,它能够完成人物动作、脸部表情、相机视角控制、特效动作等,展现了出色的生成效果。

  PixelDance的技术创新在于采用文本指导和首尾帧图片指导的方法。这使得模型更专注于学习视频的动态信息,克服了视频生成中动作多样性和特征空间显著更大的挑战。

  此外,PixelDance在公开的WebVid-10M数据集上,只使用1.5B大小的模型就取得了出色的效果,相较于其他方法,这显示了其对数据集和模型规模的简洁性。

  在展示的3分钟故事短片中,PixelDance展现了出色的能力,无论是真实场景如埃及、长城,还是虚幻场景如外星球,都能生成细节丰富、动作丰富的视频。这为用户提供了创作空间,使得长视频生成不再依赖于拼凑弱相关的短视频片段。

  PixelDance的突破意味着人们可以更轻松地生成复杂动作和炫酷特效的视频,为视频生成领域带来了新的可能性。未来,PixelDance将进一步迭代模型效果,并在2-3个月内放出供人们试用的模型,为创作者提供更多可能性。

+1

来源:站长之家

延展资讯