科技魔方

Runway的AI视频生成工具Gen-2更新 生成的视频运动更流畅、高清和逼真

大模型

2023年11月03日

  总部位于纽约的生成式 AI 视频初创公司 Runway 今天更新了其标志性的文本/图像/视频到视频模型 Gen-2,其更新再度引发AI视频领域关注。

  这一更新显著提高了视频的质量和一致性,有人将其称为“具有重大影响的游戏变革”,有人认为这是“生成式AI的关键时刻”。

  Gen-2于2023年3月首次亮相,通过其专有的AI基础模型,允许用户使用文本提示生成全新的四秒视频,或上传图像,让Gen-2为其添加运动。与Gen-1不同,Gen-2不需要用户上传现有视频片段。

  随着时间的推移,Runway还为Gen-2增加了新功能,称为“导演模式”,使用户可以选择Runway AI生成视频中的“相机”移动的方向和强度/速度。这些移动是模拟的,以代表持有真实相机拍摄场景的感觉,但内容完全由Runway的Gen-2模型即兴创建。用户可以在网络应用程序或iOS应用中快速缩放物体,左右移动主题,甚至选择在视频中部分添加运动。

  此次更新使完全由AI生成的主题或静止图像主题的运动更加流畅、清晰、高清和逼真。根据一位名为@TomLikesRobots的AI艺术家的说法,Gen-2从静止图像生成的视频的分辨率从1792x1024升级到2816x1536。

  AI创作者和电影制作者可以通过上传由其他来源生成的AI图像,例如Midjourney,从零开始生成整个AI制作,尽管是短暂的。借助这些18秒的短片,AI电影制作者已经创作出一些引人入胜的长篇作品,包括在电影院放映的音乐视频。

  Runway的创始人兼首席执行官Cristóbal Valenzuela是AI的热情倡导者,早在2015年谷歌的DeepDream模型时代就成为技术的追随者。他对公司的这一新更新充满信心,他在社交网络X上写道:“技术是一个工具,允许我们讲述超乎想象的故事并创造世界。”

  他随后发布了一系列信息,以“创意软件已死”为开端。尽管这是一项大胆的宣言,但在随后的信息中,Valenzuela解释说,以前的软件允许人类用户通过“推动像素”来手动创建,而AI驱动的应用程序和模型如Runway的Gen-2现在为我们完成了手动工作,用户只需以更高级别的自然语言或调整参数来指导机器。这些工具现在更多地完成工作,因为它们能够理解和操作媒体的底层,以一种以前的软件无法做到的方式。

  显然,Valenzuela和许多Runway的员工和用户都受到了Gen-2更新的启发。他们的技术能走多远尚有待观察,但初步迹象表明,AI电影制作正在成为本世纪的一项重要创意力量,或许与20世纪20年代原始物理电影制作崭露头角的情况类似。

+1

来源:站长之家

延展资讯