首页 > Ai资讯 > Ai知识库 > LLM微调神器Lamini,疯狂获星1.9k,免费可用!!

LLM微调神器Lamini,疯狂获星1.9k,免费可用!!

发布时间:2024年06月06日

LLM(大规模语言模型)的微调不再困难!!

我们都知道,大模型在某些特定的垂直场景,效果不是那么好,很多企业/个人都需要微调参数才可以让其在特定领域发挥出更好的作用。

而这个过程复杂且繁琐。

斯坦福的一组开发人员最近在推动自然语言处理的疆界,他们推出了一个叫做Lamini的新工具,它的目标是让每个开发者都能利用GPT-3和ChatGPT的强大能力。事实上,Lamini已经使得LLM(大规模语言模型)的微调变得简单,只需要10分钟和几行代码,你就能够微调你自己的模型。并且,Lamini提供的这项服务是完全免费的,只要你的模型参数在4亿以内。

项目地址:https://github.com/lamini-ai/lamini

 



它的优势如下:

 

 

· 免费,适用于小型 LLM;

· 迅速,10-15 分钟;

· 很大,无限大小的 prompt,比最大的 prompt 多 1000 倍以上的空间;

· 学习,检索增强生成,它不仅是在已知的基础上试图理解内容,还在学习新东西。


并且,在 Lamini 的项目地址中有着

· 1400 个问答数据集(这是关于 Lamini 的内部工程文档,你也可以将其自定义);

· 在此数据集上运行 LLM 微调的代码;

· 回答问题的开源微调 LLM(例如关于 Lamini,或其他你想问的)。


它允许无限大小的提示,这是传统的模型所不能比拟的。并且,Lamini使用了检索增强生成的方式,这让模型不仅能够理解已有的内容,还能够学习新的信息。Lamini的项目地址上还有一套包含1400个问题和答案的数据集,这些都是关于Lamini自身的,你也可以根据需要对它进行自定义。

让我们通过一个例子来了解一下Lamini的使用方法。在这个例子中,我们有一个需要微调的模型,它是一个关于Lamini内部工程文档的问答式模型。这个模型是基于一个拥有410M参数的Pythia模型创建的。当我们向模型提问关于如何向Lamini添加数据的问题时,它给出的答案并不是我们想要的。


然后,我们将一个包含了1400个问题和答案的数据集输入到模型中,并让模型进行学习。

这个数据集虽然看起来不大,但它实际上比当前最大的提示要大得多。之后,我们只需要用几行代码就可以开始训练模型了。在大约10-15分钟之后,我们就可以使用这个新的微调过的模型了。

当我们再次向它提问相同的问题时,它给出的答案就完全正确了。

 



为了成功使用Lamini进行LLM训练,你需要首先定义LLM接口,然后获取相关数据并创建对应的Lamini类型。接下来,你可以将这些数据和类型加载到LLM中。最后,你可以通过优化训练来使模型更适合你的需求。只需要几步,你就可以轻松地训练你自己的大规模语言模型了。

 


以上就是Lamini的强大之处,它可以让微调变得更简单、更快速,而且完全免费。如果你也想尝试一下Lamini,可以访问他们的项目地址:https://github.com/lamini-ai/lamini进行查看。

Lamini官方网址: https://www.lamini.ai/blog

利用Lamini,每个人都可以掌握大规模语言模型的超能力。

 

出自:https://zhuanlan.zhihu.com/p/644125777

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。