阿里云发布Qwen 2开源模型 性能超越目前所有开源模型和国内闭源模型

• HuggingFace Open LLM LeaderBoardHuggingFace 公开LLM 排行榜
  • Qwen2发布后两小时，Hugging Face联合创始人兼首席执行官克莱门特·德朗格发推宣布，各位，HF开源大模型榜单新的第一出来了，Qwen2-72B
  • 该排行榜被认为是当前大模型领域最具权威性的榜单之一，评测维度涵盖阅读理解、逻辑推理、数学计算、事实问答等六大评测，收录了全球上百个开源大模型​​。
• OpenCompass
  • Qwen-72B在上海人工智能实验室的OpenCompass开源基座大模型竞技场榜单中夺冠。OpenCompass评测平台涵盖学科、语言、知识、理解、推理等五大维度，并支持50余个数据集的评测，评测对象包括Qwen、LLaMA2等开源模型及GPT-4、ChatGPT等主流模型​​。

模型架构及训练

共包含5种不同尺寸的模型，分别为Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。每个模型的大小不同，适用于不同的应用场景和需求。

模型尺寸

• Qwen2-0.5B：这是最小的模型，适用于资源有限的设备或对计算资源要求较低的任务。
• Qwen2-1.5B：适用于中等规模的任务，能够处理比0.5B模型更复杂的任务。
• Qwen2-7B：这是一个中大型模型，适用于需要较强语言处理能力的任务。
• Qwen2-57B-A14B：这是一个大规模模型，适用于需要高性能和精确度的任务。
• Qwen2-72B：这是系列中最大的模型，适用于需要处理非常复杂任务和大量数据的场景。
• 使用GQA技术

所有尺寸的模型都使用了GQA（Generalized Query Attention）技术，这项技术能够显著提升推理速度并降低显存占用。简单来说，GQA让模型可以更快地处理数据，并且在使用显存方面更加高效。

• 上下文长度

所有预训练模型都在32K tokens的数据上进行训练，这意味着它们可以处理很长的文本。在测试中，这些模型在处理128K tokens时依然表现良好。上下文长度越长，模型在处理长篇文本时的表现就越好。

• 指令微调模型

除了预训练模型，Qwen2系列还包含指令微调模型，这些模型专门针对特定任务进行了优化。例如，Qwen2-7B-Instruct和Qwen2-72B-Instruct可以处理长达128K tokens的上下文长度。这些模型通过YARN等技术扩展了其处理长文本的能力。

• 多语言能力

Qwen2系列模型针对27种语言进行了优化，特别是中英文以外的多语言处理能力得到了显著提升。这意味着模型在处理多语言任务时更高效，发生语言转换（code switch）的概率大大降低。

• 共享参数技术

针对较小的模型，使用了tie embedding技术，这种技术让输入和输出层共享参数，增加了非embedding参数的占比，使得模型在同样大小下更强大。