近日,一项名为 ToonCrafter 的研究项目备受关注,该项目通过生成性插值方法,在卡通动画帧之间生成自然、连贯的中间帧,并利用预训练的图像到视频扩散先验。
简单的说,通过 ToonCrafter,用户可以插值两个卡通图像,生成连续的视频。项目展示中呈现了多个示例,包括输入起始帧、输入结束帧和生成的视频,展示了生成视频的过程和效果。
除了基本的中间插帧功能外,ToonCrafter 还支持稀疏草图引导和参考草图着色,拓展了其在卡通图像处理领域的应用场景。也就是提供一张或参考图像,系统将根据参考图像的颜色和风格,对输入的草图进行上色处理。
在模型方面,ToonCrafter 目前可以支持生成高达16帧、分辨率为512x320的视频,同时推理时间可以通过减少 DDIM 步骤来缩短。此外,项目还提供了安装环境、推理方法等方面的指引,为用户提供了使用 ToonCrafter 的指南和支持。