科技魔方

字节跳动PersonaTalk让AI精准配音,连表情细节都完美还原!

更多场景

2024年10月28日

  字节跳动最新开发的PersonaTalk AI模型实现了视频精准配音,声音与嘴型完美同步,保留人物原有特点,让视频更真实自然。

  该模型采用注意力机制的两阶段框架,具有高度个性化的配音效果和优秀的视觉质量。

  然而,在处理非人类化身和大幅度面部姿势时仍有局限性。字节跳动计划限制核心模型访问权限,防止技术滥用。

  声音同步嘴型:PersonaTalk确保视频中人物的嘴部动作与新语音口型完全匹配,实现完美同步。

  保留人物特点:PersonaTalk保留人物原有特点,包括说话方式、脸型和表情,保持视频真实感。

  适用于不同人物:PersonaTalk不需大量数据单独训练每个人物,适应多样化场景,提供灵活性和便利性。

+1

来源:科技魔方

延展资讯