首页 > Ai资讯 > Ai日报 > Linly-Dubbing:一个开源的多语言AI配音和视频翻译工具

Linly-Dubbing:一个开源的多语言AI配音和视频翻译工具

发布时间:2024年08月22日

Linly-Dubbing:一个开源的多语言AI配音和视频翻译工具
 
可以将视频自动翻译成其他语言并生成字幕,还能克隆视频中说话者的声音并自动配音,以及进行口型匹配。

主要功能

  • 自动下载视频支持从YouTube等网站下载视频
  • 多语言支持: 支持中文及多种其他语言的配音和字幕翻译。
  • AI语音识别: 精准的语音识能力,语音到文本转换和说话者识别。
  • LLM 翻译: 结合领先的大语言模型(如GPT),快速且准确地进行翻译,确保翻译的专业性和自然性。
  • 声音克隆: 通过声音克隆技术,生成与原视频配音高度相似的语音,保持情感和语调的一致性。
  • 口型同步: 通保持口型同步,使配音与视频画面高度契合,提升视频的真实性和互动性。
  • 灵活上传与翻译:用户可以上传视频,自主选择翻译语言和标准,确保个性化和灵活性。
技术细节
  1. 语音识别
    • WhisperX: 基于 OpenAI Whisper 语音识别系统的扩展,能够将语音内容转录为文字,并与视频帧精确对齐,生成带有时间戳的字幕文件,支持多说话者识别。
    • FunASR: 一个综合性的语音识别工具包,提供语音识别、语音活动检测、标点符号恢复等功能,特别针对中文语音进行了优化。
  2. 语音合成: 集成了Edge TTS、XTTS和CosyVoice等多个先进的语音合成工具。
    • Edge TTS: 微软提供的高质量文本到语音转换服务,支持多种语言和声音样式,生成自然流畅的语音输出。
    • XTTS: Coqui 提供的先进深度学习文本到语音工具包,专注于声音克隆和多语言语音合成,通过短时间的音频片段实现声音克隆,生成逼真的语音输出。
    • CosyVoice: 阿里通义实验室开发的多语言语音理解和合成模型,支持多种语言的高质量语音合成和跨语言音色克隆。
  3. 字幕翻译: 使用OpenAI API和Qwen模型进行多语言字幕翻译。
    • OpenAI API: 使用 OpenAI 的 GPT-4 和 GPT-3.5-turbo 进行高质量的字幕翻译,这些模型以其自然语言理解能力和生成文本能力著称,适用于对话生成和文本分析。
    • Qwen: 一个开源的本地化大型语言模型,支持多语言翻译,能够处理多种语言的文本,经济高效。
    • Google Translate: 集成 Google Translate 作为翻译功能的补充,提供广泛的语言支持和良好的翻译质量。
  4. 声音分离: 使用Demucs和UVR5技术实现人声与伴奏的分离。
    • |Demucs: 由 Facebook 研究团队开发的声音分离模型,能够将混合音频中的不同声音源分离开来,包括乐器、声音和背景音,广泛用于音乐制作和影视后期。
    • UVR5 (Ultimate Vocal Remover): 高效的人声伴奏分离工具,能够提取接近原版立体声的伴奏,表现优于其他同类工具如 RX9、RipX 和 SpectraLayers 9。
  5. 口型同步
    • 借鉴 Linly-Talker,专注于数字人对口型技术,结合计算机视觉和语音识别技术,使虚拟角色的口型与配音精确匹配,实现高度自然的同步效果。这项技术适用于动画角色、虚拟主播、教育视频中的讲解员等多种场景。
  6. 视频处理
    • Linly-Dubbing 提供了添加字幕、插入背景音乐、调整音量和播放速度等功能,用户可以自定义视频内容,使其更具吸引力和个性化。
    • 集成yt-dlp: yt-dlp是一款强大的开源命令行工具,专为从 YouTube 和其他网站下载视频和音频而设计。该工具具有广泛的参数选项,允许用户根据需求精细地定制下载行为。无论是选择特定的格式、分辨率,还是提取音频,yt-dlp 都能提供灵活的解决方案。
演示视频

原始视频

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

加入会员

加入会员查看更多会员内容和教程。
超过1000+的会员内容,每天更新。

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。