科技魔方

Gen-2重磅发布“运动画笔”,可制作视频连环画啦

大模型

2023年11月24日

  本文来自于微信公众号 AIGC开放社区(ID:AIGCOPEN),作者:AIGC开放社区。

  著名生成式AI平台Runway在官网宣布,其文生视频产品Gen-2正式发布运动画笔、预设风格、更新导演模式和优化图像模型4个功能。

  其中,运动画笔成为本次更新的最大亮点,用户只需要对上传的图片指定区域进行涂抹,就能让生成的视频按照特定轨迹运动,而其他没有涂抹的区域完全静止。

  依靠运动画笔加上运动相机这两个强大功能,制作“视频连环画”将变得非常容易,同时又能精准控制生成视频的内容真的太香了。

  简单来说,这就是一个可视化视频动态控制,相当于AE、PR里的视频轨迹移动。但对于没有专业技术背景的小伙伴们来说很方便。

  运动画笔

  「AIGC开放社区」通过免费账户体验了一下该功能。

  1)上传高清图片,这里我上传了一张2560*1440*96dpi的高清图片。

  2)上传完成后,点击“Motion Brush”按钮,启动运动画笔功能。

  3)下面会出现Horizontal、Vertical和Proximity三个参数,分别是控制运动的水平、垂直和近距离三种移动方法。

  4)涂抹要运动的区域,我们只选择太阳,其他的一律不动,然后选择下面的三个参数。

  这里我们想让太阳继续向上提升,所以,提升了这三个参数分别是2.1、4.0、1.8。

  如果你想让太阳往下走,就负向选择这三个参数即可。

  5)点击“Save”然后生成视频。我们可以看到太阳在稳定的向上升起,而视频中的其他物体是完全静止的。

  需要注意的是,我们可以在单一图片进行多个区域涂抹,次数无限制。同时可以与运动相机搭配使用,二者在功能方面没有任何冲突。

  预设风格

  通常我们很难控制Gen-2输出的视频风格,需要很详细的参数才能实现。

  现在,Gen-2内置了动画、3D卡通、像素艺术、电影效果、广告等十多种预设风格。

  在文本生成视频过程中,我们直接选择预设风格即可。例如,行走的机器霸王龙,荒漠,沙丘,然后选择3D卡通风格。

  同样,该功能对于制作视频连环画很有帮助,可以控制整体风格。需要注意的是,目前只支持文本到视频,图像到视频还无法使用。

  更新导演模型

  Gen-2的导演模式的高级摄像机控制进行了更新,现在可以实现更精细的控制。

  现在,我们可以使用详细参数来更精确地调整相机移动,来增加或减少移动。

  优化图像模型

  现在,Gen-2在文本到图像、图像到图像和图像变化中,提供了更高的保真度、更高的一致性和更高分辨率的图像生成。

  也就是说你使用2K、4K等超高清图片生成内容时,输出的也可以匹配同样的分辨率,这对于制作图像到视频时帮助巨大。

  本文素材来源Runway官网

+1

来源:微信公众号 AIGC开放社区

延展资讯