Linly-Dubbing：一个开源的多语言AI配音和视频翻译工具

主要功能

• 自动下载视频：支持从YouTube等网站下载视频
• 多语言支持: 支持中文及多种其他语言的配音和字幕翻译。
• AI语音识别: 精准的语音识能力，语音到文本转换和说话者识别。
• LLM 翻译: 结合领先的大语言模型（如GPT），快速且准确地进行翻译，确保翻译的专业性和自然性。
• 声音克隆: 通过声音克隆技术，生成与原视频配音高度相似的语音，保持情感和语调的一致性。
• 口型同步: 通保持口型同步，使配音与视频画面高度契合，提升视频的真实性和互动性。
• 灵活上传与翻译：用户可以上传视频，自主选择翻译语言和标准，确保个性化和灵活性。

技术细节

1. 语音识别
   • WhisperX: 基于 OpenAI Whisper 语音识别系统的扩展，能够将语音内容转录为文字，并与视频帧精确对齐，生成带有时间戳的字幕文件，支持多说话者识别。
   • FunASR: 一个综合性的语音识别工具包，提供语音识别、语音活动检测、标点符号恢复等功能，特别针对中文语音进行了优化。
2. 语音合成: 集成了Edge TTS、XTTS和CosyVoice等多个先进的语音合成工具。
   • Edge TTS: 微软提供的高质量文本到语音转换服务，支持多种语言和声音样式，生成自然流畅的语音输出。
   • XTTS: Coqui 提供的先进深度学习文本到语音工具包，专注于声音克隆和多语言语音合成，通过短时间的音频片段实现声音克隆，生成逼真的语音输出。
   • CosyVoice: 阿里通义实验室开发的多语言语音理解和合成模型，支持多种语言的高质量语音合成和跨语言音色克隆。
3. 字幕翻译: 使用OpenAI API和Qwen模型进行多语言字幕翻译。
   • OpenAI API: 使用 OpenAI 的 GPT-4 和 GPT-3.5-turbo 进行高质量的字幕翻译，这些模型以其自然语言理解能力和生成文本能力著称，适用于对话生成和文本分析。
   • Qwen: 一个开源的本地化大型语言模型，支持多语言翻译，能够处理多种语言的文本，经济高效。
   • Google Translate: 集成 Google Translate 作为翻译功能的补充，提供广泛的语言支持和良好的翻译质量。
4. 声音分离: 使用Demucs和UVR5技术实现人声与伴奏的分离。
   • |Demucs: 由 Facebook 研究团队开发的声音分离模型，能够将混合音频中的不同声音源分离开来，包括乐器、声音和背景音，广泛用于音乐制作和影视后期。
   • UVR5 (Ultimate Vocal Remover): 高效的人声伴奏分离工具，能够提取接近原版立体声的伴奏，表现优于其他同类工具如 RX9、RipX 和 SpectraLayers 9。
5. 口型同步
   • 借鉴 Linly-Talker，专注于数字人对口型技术，结合计算机视觉和语音识别技术，使虚拟角色的口型与配音精确匹配，实现高度自然的同步效果。这项技术适用于动画角色、虚拟主播、教育视频中的讲解员等多种场景。
6. 视频处理
   • Linly-Dubbing 提供了添加字幕、插入背景音乐、调整音量和播放速度等功能，用户可以自定义视频内容，使其更具吸引力和个性化。
   • 集成yt-dlp： yt-dlp是一款强大的开源命令行工具，专为从 YouTube 和其他网站下载视频和音频而设计。该工具具有广泛的参数选项，允许用户根据需求精细地定制下载行为。无论是选择特定的格式、分辨率，还是提取音频，yt-dlp 都能提供灵活的解决方案。

演示视频

原始视频