美国 AI 语音初创公司 ElevenLabs近日推出一个全自动化的音频、视频翻译工具AI Dubbing & Video Translator,你只需上传音频、视频或粘贴来自视频网站(YouTube、推特等)视频链接,此工具就能在极短的时间将你的视频快速翻译成29种语言并完成配音,还能复刻原视频声音的音色,就算有多人说话也完全能克隆翻译。此工具对于视频创作者、配音、外贸从业者等非常有用。目前官方提供免费试用,不过免费试用仅能上传小于20M的影音文件,来自视频网站的视频也只能翻译58秒,
目前已有网友使用开源项目实现了同样的效果,大家可以去尝试一下。
AI Video Dubbing
地址:https://huggingface.co/spaces/artificialguybr/video-dubbing
请注意:
- 视频时长限制为1分钟。所有人物的声音将由一个声音进行配音。
- 生成过程可能需要长达5分钟。
- 使用此演示即表示您同意Coqui公共模型许可协议(Coqui Public Model License)的条款,该演示是基于Coqui TTS项目
- 该工具使用开源模型进行所有模型处理。这是一个alpha版本。
- 质量可以改进,但需要每个视频的处理时间更长。为了可扩展性和硬件限制,选择了速度而非仅仅是质量。
- 如果需要超过1分钟的视频,可以复制该空间并更改app.py中的限制。
- 如果错误地勾选了“视频有特写镜头(Video has a close-up face. Use Wav2lip.)”复选框,配音可能无法按预期工作。