SpeechGPT2 是由复旦大学计算机学院开发的一个端到端的语音对话语言模型，类似于 GPT-4o。它能够感知和表达情感，并根据上下文和人类指令提供多种风格的语音响应，如说唱、戏剧、机器人、搞笑和低语等。为了处理冗长的语音序列，SpeechGPT2 使用了一种超低比特率的语音编解码器 (750bps)，能够建模语义和声学信息。
预训练数据包括超过10万小时的学术和野外收集的语音数据，这些数据涵盖了丰富的语音场景和风格。
SpeechGPT2：一个端到端的语音对话语言模型 能够感知和表达情感
发布时间：2024年07月30日
一个包括背景融合、一键抠图、高清修复、涂抹消除、无损放大等功能的AI助手，我们的AI助手为您的图片生成提供超乎想象的低成本和高质量，操作起来如鱼得水。