首页 > Ai资讯 > Ai日报 > 研究:语言模型可以通过吸收同源模型的参数来获得新的能力

研究:语言模型可以通过吸收同源模型的参数来获得新的能力

发布时间:2024年05月18日

这篇论文展示了语言模型(LMs)可以通过吸收(即融合)来自同源模型的参数来获得新的能力,这个过程不需要重新训练或使用GPU。这种方法的核心是利用DARE(DropAndREscale)技术,它通过减少模型参数中的冗余(即将某些参数设为零并重新缩放剩余参数),使得可以将多个专用于特定任务的模型合并成一个多能力模型,而不损失性能。

这就像超级玛丽能够通过吸收道具来获得额外的能力,如变大、发射火球等。

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

Subscribe

Gain access to all our Premium contents.
More than 100+ articles.

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。