本文来自于微信公众号 AI新榜,作者:月山橘。
最近,一款名为“VozoRewrite & Redub”(下文简称Vozo)的AI视频工具火了,上线即登Product Hunt榜首,且已蝉联3天。
这其中甚至还有Product Hunt CEO的一票。
Rewrite意为“重写”,Redub意为“重新配音”。Vozo的核心特色是能够根据提示词,重新生成视频脚本,并能够通过克隆原说话人声音,为视频生成新的配音,外加同步口型。
你可以用它让《华尔街之狼》中的小李子疯狂飙“移民火星计划”的广告词:
让特朗普高喊“Vozo will make your videos great again(Vozo会让你的视频再次伟大)”。
让《角斗士》中的斗兽场奴隶化身你的嘴替,控诉“加不完的班”、“开不完的会”、“剥削下属的领导”:
让《银河护卫队》中的火箭浣熊问“你会给哪个总统投票?”
可以看到,Vozo在魔改了人物台词的同时,保留了原视频说话者的音色、语气情感和背景音,口型也基本同步,整体呈现效果十分自然流畅。(B站的鬼畜区恐怕要更卷了)
Vozo在放出的其中一个视频Demo中,将自身定义为“Game Changer”,使命是让AI生成视频速度快10倍,并且生成质量更高。
真这么具有革命性?我们火速上手实测了一番。
AI一键改写视频、重新配音、同步口型
进入Vozo官网,注册登录即送30积分,7日内有效。
在订阅计划方面,分为免费版、标准版、专业版和企业版。
Free用户可限时免费重写视频,无次数限制。此外,还有30分钟的重剪视频时长,3分钟的视频翻译时长,以及1.5分钟的口型同步时长。
目前,Rewrite和Redub都处于Beta阶段,其中Rewrite功能支持手动修正,或让AI重写。
你可以从本地上传想要重写或重新配音的视频,或者直接复制粘贴TikTok、YouTube、Google Drive、Zoom的视频链接,也可以用官方提供的示例视频快速试试。
这里我选的是美剧《权力的游戏》中的一个片段,权游第八季烂尾是很多GOT迷心中的意难平,为了阻止龙妈被雪诺刺杀的悲剧发生,我直接化身预言家,把雪诺第一次见龙妈时的介绍改成了:He's the future Queenslayer.
重新生成的配音默认保持原说话人的音色,点击Change Voice可以选择其他音色,也可以上传音频样本生成新的克隆音色。
还支持对语气进行微调,比如通过修改标点符号和大写文本来加强语气。声音的各种参数如音高、节奏等也可以调整。
配音和口型同步是两个独立的工作区,如没有人物出镜,就不需要同步口型。当然这里我选择了同步口型,用了大约3分钟才完成。
新配音几乎是完美复刻了原说话者的音色,非常自然流畅,但口型同步的效果有点差强人意:
再用小李子这段演技炸裂的名场面试试。
结合最近“全世界来巴黎,但巴黎人想逃离”的热点话题,我用AI把小李子这段Speech的主题改成了“号召巴黎人逃离巴黎奥运会的一地鸡毛”。
不过,我原以为提示词会作用于所有台词,结果却需要一句一句改,而且提示词要足够清晰明确,不然AI可能无法直接生成符合要求的台词。
比如,如果只输入“巴黎奥运会”,系统会提示你说得再具体一点。
在和AI的共创下,修改后的台词如下:
Are you ready to escape the chaos of the Paris Olympics?
Good!
Pick up the phone and start planning your getaway!!!
Is the Seine getting dirtier?
Good!
Pick up the phone and start planning your getaway!!!
Is traffic getting more congested?
Good!
Pick up the phone and start planning your getaway!!!
I want you to deal with those problems by leaving Paris!
You be radiant!
You be indulgent!
You be TRAVELING FUCKING TERRORIST!!!!!
Now, let's escape this chaos in Paris!!!
来看看效果:
音色依然很还原,吐字清晰精确,情绪也很饱满,原汁原味地保留了小李子咆哮的气势,但口型同步的效果还是不太稳定,可能也跟片中的话筒挡住嘴有关。
视频翻译与视频重剪
除了Rewrite和Redub之外,Vozo还支持视频翻译和重剪。
视频翻译功能可以把视频转换为多种语言,比如我们上传了Vozo的英文宣传片,选择翻译成中文。
就可以得到一支Vozo的中文广告宣传片:
翻译得还算准确,但中文说得还不够native,语气转换不够自然。
之前“AI新榜”给大家盘点过几个AI视频翻译+配音的工具,感兴趣的朋友可以移步《最新AI配音技术刷屏!声音克隆+口型同步,这下真的是“全世界都在说中国话”了》。
视频重剪可以把一个长视频切分剪辑成多个短视频。
这一功能其实并不新颖,但能叫得上名字的同类产品不多,OpusClip算一个。
与OpusClip相似,Vozo可以将一个长视频剪辑成10余个利于病毒式传播的短视频,并且自动添加音乐、音效和字幕,自动裁切人物主体,生成标题和文案。
AI还会给生成的每个短视频打分,评分的维度包括:是否涉及热点话题、是否包含有争议性的观点/启发性的想法、是否契合短视频的叙事结构等。
用户可将剪辑好的视频一键发布至TikTok、YouTube Shorts和Instagram Reels等平台。
目前来看,Vozo的最佳落地场景主要集中在视频内容创作、广告营销、电商和教育领域。
在视频内容创作和广告制作领域,跨语言的无缝转换不仅能大大节省时间和成本,还能拓宽受众范围,使得广告内容更加贴近不同文化背景的消费者,从而增强广告的吸引力和影响力。
而把一个长视频剪成多个短视频,对于内容创作者而言,可以大大降低视频创作的门槛和成本,提高视频制作的效率,但也可能意味着更多同质化的垃圾视频将充斥社交媒体。