vivo开源大模型BlueLM-7B,支持32K的长文本基础(base)模型和对话(chat)模型
发布时间:2024年06月06日
BlueLM项目是一个由vivo AI全球研究院开发的大规模预训练语言模型。该项目发布了7B基础(base)模型和7B对话(chat)模型,并开源了支持32K的长文本基础(base)模型和对话(chat)模型。
该项目的特点包括:
1. 更大量的优质数据:使用高质量语料库进行训练,包含中文、英文以及部分日韩数据,规模达到了2.6万亿的token数。
2. 更优的效果:BlueLM-7B-Chat模型在C-Eval和CMMLU上取得了领先结果,在同等尺寸的开源模型中具有较强的竞争力。
3. 长文本支持:BlueLM-7B-Base-32K和BlueLM-7B-Chat-32K模型支持32K长文本,在保持基础能力的同时,能够更好地理解更长的上下文。
4. 欢迎学术研究和商业应用:BlueLM系列模型欢迎开发者进行学术研究和商业应用。
通过该项目,开发者可以下载不同基座模型、对齐模型和量化模型,进行各种任务的预训练和微调。
该项目还进行了评测,使用OpenCompass进行了通用能力、数学能力和代码能力的测试,包括C-Eval、MMLU、CMMLU、GaoKao、AGIEval、BBH、GSM8K、MATH和HumanEval榜单。
该项目的目标是提供强大的语言模型,为学术研究和商业应用提供支持。
项目链接:https://github.com/vivo-ai-lab/BlueLM
如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。
Glasp 是一种由 AI 驱动的来增强您的学习和写作体验的工具。无论您是时事通讯作者、博主、思想领袖还是记者,Glasp 都可以帮助您轻松策划、创建和分享您的学习成果。