重磅来袭！Llama中文社区开源预训练中文版Atom-7B大模型

完全开源可商用！Llama中文社区联合AtomEcho（原子回声）重磅发布基于Llama2的中文预训练大模型：原子大模型

Atom-7B

| Atom-7B
介绍

目标泛智能体大模型

不同原子有不同的特性，原子大模型也可以进化出不同的能力，一些专注于自然语言处理，一些负责图像识别，一些负责语音识别，还有一些可能是专为解决特定类型的科学问题而设计。原子大模型未来可以不断地进化迭代出不同能力，并且进行组合，类似于“化学键”，生成更为复杂的智能体Agent，解决更为复杂的问题。

| 中文优化

从中文预训练开始，持续迭代升级

🎯中文数据

通过测试我们发现，Meta原始的Llama2 Chat模型对于中文问答的对齐效果欠佳，大部分情况下都不能给出中文回答，或者是中英文混杂的形式。因此，基于中文数据对Llama2模型进行预训练和微调十分必要。

Atom-7B在Llama2-7B的基础上，采用以下中文数据进行持续预训练：

📚深度优化的高效中文词表

为了提高中文文本处理的效率，我们针对Llama2模型的词表进行了深度优化。首先，我们基于数百G的中文文本，在该模型词表的基础上扩展词库至65,000个单词。经过测试，我们的改进使得中文编码/解码速度提高了约350％。此外，我们还扩大了中文字符集的覆盖范围，包括所有emoji符号😊。这使得生成带有表情符号的文章更加高效。

对于Llama2原生词表中的一些特殊情况，如数字、英文等，我们尽可能地避免对其进行修改或替换。这样做的目的是为了最大限度地保留Llama2原有的能力，同时又不影响中文处理的效果，实现一种既能提高中文处理效率又能保持Llama2原有性能的方法。

| 训练过程

⭐支持更长上下文的模型结构

基于当前最优秀的开源模型 Llama2，使用主流Decoder-only
的标准 Transformer 网络结构，支持 4K 的上下文长度（Context Length），为同量级模型中最长，能满足更长的多轮对话、知识问答与摘要生成等需求，模型应用场景更广泛。

⭐采用FlashAttention-2进行高效训练

Atom-7B采用了FlashAttention-2技术高效训练。由于在处理较长的输入序列时，内存消耗的问题可能会导致“内存爆炸”现象。FlashAttention-2是一种高效注意力机制的实现方式之一，相较于传统的注意力技术（Attention），它拥有更快的速度以及更加优化的内存占用率。

⭐基于NTK的自适应上下文扩展技术

§

可在不继续训练模型的情况下支持更长的上下文

§

§

Atom-7B模型默认支持4K上下文，利用NTK技术可扩展至18K+

§

§

经过微调可以支持到32K+

§

| 配置要求

💻推理配置

可以在消费级显卡部署

实际应用中，消费级显卡要比专业显卡便宜的多（比如同样都是24G显存，RTX3090相比A10更具有性价比）。

消费级显卡难以部署FP32的模型参数，可以选择用FP16、INT8和INT4进行部署，部署Atom-7B需要的配置如下：

§

FP16模型参数需要至少14G显存，可在RTX3090上部署

§

§

INT8模型参数需要至少8G显存，可在RTX3080上部署

§

§

INT4模型参数需要至少5G显存，可在RTX3080上部署

§

| 部署方案

训练或者微调之后的模型，如果直接使用原生transformers进行部署速度较慢（如下方案2），可使用方案1进行加速推理：

方案1：FasterTransformer && Triton

对于生产环境的部署，可以使用triton inference server，然后使用fastertransformer-backend。Fastertransformer-backend是一个支持多钟LLM模型的backend，实现了很多高性能的针对transformer的算子。具体使用方式可以参考：
https://github.com/FlagAlpha/Llama2-Chinese/blob/main/inference-speed/GPU/FasterTransformer_example/README.md

方案2：直接使用transformers

直接使用transformers推理，适用于简单的本地测试，快速调试模型的效果。

🚀Gradio快速搭建问答平台

基于gradio搭建的问答界面，实现了流式的输出，将下面代码复制到控制台运行，以下代码以Atom-7B模型为例，不同模型只需修改一下代码里的模型名称就好了😊

·

python examples/chat_gradio.py --model_name_or_path FlagAlpha/Atom-7B

| 样例展示

如何看待日本核污水排海？

Atom-7B回答：（更为直接和感性）

GPT-3.5回答：（理性分析和中庸）

| 下载使用

进入Llama中文社区网页：

https://llama.family

下载 Atom-7B 模型

出自：https://mp.weixin.qq.com/s/Bdx0JTVh1kgPn5ydYxIkEw

如果你想要了解关于智能工具类的内容，可以查看 智汇宝库，这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息，了解智能工具的用法以及最新动态。