科技魔方

VALL-E X:零样本语音合成模型的开源实现

大模型

2023年10月20日

  VALL-E X 是一个强大而创新的多语言文本转语音(TTS)模型,最初由微软发布。虽然微软最初在他们的研究论文中提出了该概念,但并未发布任何代码或预训练模型。此开源代码复现并训练了一个开源可用的VALL-E X模型,让每个人都能体验到次世代TTS的威力。

  VALL-E X 的一些功能:

  多语言 TTS: 可使用三种语言 - 英语、中文和日语 - 进行自然、富有表现力的语音合成。

  零样本语音克隆: 仅需录制任意说话人的短短的3~10秒录音,VALL-E X 就能生成个性化、高质量的语音,完美还原他们的声音。

  语音情感控制: VALL-E X 可以合成与给定说话人录音相同情感的语音,为音频增添更多表现力。

  口音控制: VALL-E X 允许您控制所合成音频的口音,比如说中文带英语口音或反之。

+1

来源:站长之家

延展资讯