首页 > Ai资讯 > Ai知识库 > 智源:70万预算,从头开发千亿参数大模型,挑战成功!

智源:70万预算,从头开发千亿参数大模型,挑战成功!

发布时间:2024年06月06日

预算10万美元(约73万人民币),从头训练一个全新的千亿参数大模型。

智源研究院与国内多所高校及南洋理工联合团队,挑战成功。

要知道,当GPT-3的训练成本可是高达460万美元,近一些的Llama2据估算也大概是这个数。

IMG_256

这个用10万美元训练出的大模型名叫FLM,拥有1010亿参数量,目前已经开源。

得益于研究团队的新型训练策略,FLM只用了2.17%的花销,就达到了可以比肩GPT-3的效果,在开发社区引起不小关注。

IMG_257

那么,FLM团队是如何把训练成本降低近50倍的呢?

成长策略降低训练成本

不管是租还是买,硬件的价格都摆在那动不了,所以只能是通过减少运算量来降低成本。

为了降低训练过程中的运算量,研究团队在FLM中采用了一种成长策略

也就是先训练16B参数的小规模模型,然后扩大到51B,最终再扩展到101B版本。

由于训练低参数量模型的运算效率更高,这种循序渐进的训练方式成本要低于一步登天。

IMG_258

看到这里也许有的读者会有疑问,其他模型不是也有分成多个参数量的版本吗?

是没错,但是这些参数量不同的同种模型是分别进行训练的,这造成了大量的重复计算,因而成本并不低。

FLM采用的成长策略在训练大规模版本时会直接继承低参数量模型中已有的知识,降低了重复运算率。

而具体参数的确定,应用了loss prediction技术,即根据低参数模型的训练损失预测出高参数量模型的损失。

IMG_259

除了这种由小及大成长策略之外,FLM的训练过程中还通过改善并行策略来提高吞吐量。

FLM使用的是混合并行策略,将多种并行方式进行最优化配置,达到高吞吐量,单GPU利用率超过了50%

团队还利用序列并行和分布式优化器技术,将输入序列和优化器状态分配到不同GPU,减轻了单个GPU的计算和内存压力。

IMG_260

那么,这种成长策略训练出的FLM表现又如何呢?作者给出了Open LLM数据集的测试结果。

FLM在四个项目中取得的平均成绩接近GLM-120BLlama-7B,但训练成本显著低于二者。

而在其中的TruthfulQA单项中,FLM的成绩甚至超过了Llama 2

IMG_261

专业知识方面,16B参数的eFLMC-eval评测中,平均成绩超过了130B参数的GLM,并接近ChatGPT

IMG_262

除了这些一般的benchmarkFLM团队还提出了一项大模型“IQ测试

给大模型测智商

FLM团队提出的大模型智商测试重点考察模型的推理泛化能力,而非知识储备。

这项测试从如下四个维度进行了展开:

§

符号映射:使用随机符号替换分类标签,评估模型推理和泛化能力,避免过度拟合。

§

§

规则理解:检验模型能否按照给定规则进行操作,如计数字符串替换等。

§

§

模式挖掘:给出示例,让模型归纳推导出规律并应用,如头尾添加等。

§

§

抗干扰能力:在噪声环境中提取关键信息,包括多关键信息提取、单论据追踪和双论据追踪三项内容。

§

其中第一、三、四项的示例如下图所示:

IMG_263

那么,FLM面对自家提出的测评标准,成绩到底怎么样呢?

符号映射测评中,FLM以低一个数量级的运算量在SuperGLUE数据集上取得了与GLMGPT-3相近的成绩,在CLUE数据集上的表现更是超过了GLM

IMG_264

其余三个项目的成绩也都超过了GLM,并接近GPT-3

IMG_265

出自:https://mp.weixin.qq.com/s/9UfUgSozIdH9lvGLR9BvDA