首页 > Ai资讯 > Ai知识库 > 从声纹模型到语音合成:音频处理 AI 技术前沿 | 开源专题 No.45

从声纹模型到语音合成:音频处理 AI 技术前沿 | 开源专题 No.45

发布时间:2024年06月06日

facebookresearch/audiocraft[1]

Stars: 16.6k  License: MIT

AudioCraft 是一个用于音频生成的 PyTorch 库。它包含了两个最先进的 AI 生成模型 (AudioGen 和 MusicGen) 的推理和训练代码,可以产生高质量音频。该项目还提供了其他功能:

· MusicGen:一种最新技术实现的可控文本到音乐模型。

· AudioGen:一种最新技术实现的文本到声音模型。

· EnCodec:一种高保真度神经音频编解码器。

· Multi Band Diffusion:使用扩散算法与 EnCodec 兼容的解码器。

此外,AudioCraft 还包括深度学习研究中使用到的 PyTorch 组件以及开发出来各个模型所需训练流程管道等内容,并提供 API 文档、常见问题 FAQ 等信息。

w-okada/voice-changer[2]

Stars: 12.4k  License: NOASSERTION

 

VC Client 是一个用于实时音频转换的客户端软件,使用各种语音转换 AI (VC,Voice Conversion) 进行操作。该项目支持多个平台,并且可以通过网络连接来卸载外部负载以处理音频转换任务。主要功能包括:

· 支持多种声音变化 AI

§ MMVC

§ so-vits-svc

§ RVC(Retrieval-based-Voice-Conversion)

§ DDSP-SVC

§ Beatrice JVS Corpus Edition (试验性)

· 提供事前构建好的二进制文件和 Docker/Anaconda 环境搭建两种使用方式。

· 可以实现高效率、低延迟的实时语音变化;

· 跨平台兼容性强,适用于 Windows、Mac(M1)、Linux 等系统;

espnet/espnet[3]

Stars: 7.2k  License: Apache-2.0

 

ESPnet 是一个端到端的语音处理工具包,涵盖了端到端语音识别、文本转语音、语音翻译、语音增强、说话人分离等功能。该工具使用 pytorch 作为深度学习引擎,并遵循 Kaldi 风格的数据处理和特征提取/格式以及配方来提供各种不同的实验设置。

· 支持多个 ASR (自动演讲识别) 配方

· 支持类似于 ASR 配方一样的 TTS (文本转声)

· 支持 ST (Speech Translation) 配方

· 提供完整且易用的命令行界面和脚本接口

babysor/MockingBird[4]

Stars: 31.6k  License: NOASSERTION

 

这个项目是一个实时语音克隆的开源项目,主要功能包括支持中文、使用 PyTorch 进行训练和推理、可以在 Windows 和 Linux 系统上运行以及提供 Web 服务器。该项目的核心优势和特点包括:

· 支持多种数据集,并经过测试

· 可与最新版本 (2021年8月) 的 PyTorch 一起工作,并且可以利用 GPU 加速

· 通过重复使用预先训练好的编码器/解码器来轻松生成令人印象深刻的效果

· 提供 Web 服务器,方便远程调用结果

CorentinJ/Real-Time-Voice-Cloning[5]

Stars: 43.3k  License: NOASSERTION

 

这个开源项目是一个实时语音克隆工具,可以在5秒内复制一种声音,并生成任意文本的语音。

该项目的主要功能包括:

· 从几秒钟的录音中创建声纹模型

· 根据给定文本使用参考声纹模型合成语音

该项目有以下关键特性和核心优势:

· 实时处理:能够快速进行语言克隆并生成对应文字内容。

· 多说话人支持:通过转移学习技术,使得系统能适用于多个不同说话人。

· 简单易用:提供了简洁明了的安装和配置指南以及演示脚本。

neonbjb/tortoise-tts[6]

Stars: 7.2k  License: Apache-2.0

TorToiSe 是一个多音色 TTS 系统,其重点在于质量。

它具有以下优势和特点:

· 强大的多声道功能。

· 高度逼真的韵律和语调。

· 可以使用自己预训练的模型。

· 改进了读取工具,并添加了新选项。

 

出自:https://mp.weixin.qq.com/s/OyxSSUPzGZWBLgCfQAI2wg