ChatMusician: 能够理解和生成音乐的大语言模型

发布时间：2024年05月18日

通过根据给定的文本提示、和弦序列、旋律线索、音乐主题或形式等条件。

ChatMusician能自动生成结构完整、风格多样的音乐作品。

包括单声部旋律、和声编配，乃至完整的乐曲结构设计。

同时它还能理解和分析音乐理论的各个方面。

ChatMusician通过持续的预训练和微调LLaMA2，结合了文本兼容的音乐表示方式——ABC符号，使得模型能够像处理语言文本一样理解和生成音乐。

音乐生成： ChatMusician能够根据给定的文本提示、和弦序列、旋律线索、音乐主题或形式等条件，自动生成结构完整、风格多样的音乐作品。这包括单声部旋律、和声编配，乃至完整的乐曲结构设计。性能超过GPT-4基线。
音乐理解： 该模型不仅能创作音乐，还能理解和分析音乐理论的各个方面，如和声分析、旋律结构、音乐形式等。这使得ChatMusician可以在音乐教育和理论分析中发挥作用。在专门设计的大学级音乐理解基准测试MusicTheoryBench上，ChatMusician在零样本设置中超过了LLaMA2和GPT-3.5，展示了其在音乐理论理解方面的优异性能。