首页 > Ai资讯 > Ai科技 > vivo开源大模型BlueLM-7B,支持32K的长文本基础(base)模型和对话(chat)模型

vivo开源大模型BlueLM-7B,支持32K的长文本基础(base)模型和对话(chat)模型

发布时间:2024年06月06日

BlueLM项目是一个由vivo AI全球研究院开发的大规模预训练语言模型。该项目发布了7B基础(base)模型和7B对话(chat)模型,并开源了支持32K的长文本基础(base)模型和对话(chat)模型。

该项目的特点包括:

1. 更大量的优质数据:使用高质量语料库进行训练,包含中文、英文以及部分日韩数据,规模达到了2.6万亿的token数。

2. 更优的效果:BlueLM-7B-Chat模型在C-Eval和CMMLU上取得了领先结果,在同等尺寸的开源模型中具有较强的竞争力。

3. 长文本支持:BlueLM-7B-Base-32K和BlueLM-7B-Chat-32K模型支持32K长文本,在保持基础能力的同时,能够更好地理解更长的上下文。

4. 欢迎学术研究和商业应用:BlueLM系列模型欢迎开发者进行学术研究和商业应用。

通过该项目,开发者可以下载不同基座模型、对齐模型和量化模型,进行各种任务的预训练和微调。

该项目还进行了评测,使用OpenCompass进行了通用能力、数学能力和代码能力的测试,包括C-Eval、MMLU、CMMLU、GaoKao、AGIEval、BBH、GSM8K、MATH和HumanEval榜单。

该项目的目标是提供强大的语言模型,为学术研究和商业应用提供支持。

项目链接:https://github.com/vivo-ai-lab/BlueLM

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。