矩阵乘法（MatMul）是使用Transformer架构的大语言模型（LLM）中最耗费计算资源的操作，需要大量的GPU集群。随着LLM规模的扩大，MatMul的成本显著增加，从而导致训练和推理时的内存使用和延迟增加。
加利福尼亚大学圣克鲁兹分校(University of California, Santa Cruz)、苏州大学(Soochow University)和加利福尼亚大学戴维斯分校(University of California, Davis)的研究人员开发了一种新颖的架构，该架构完全消除了语言模型中的矩阵乘法，在保持高性能的同时显著减少了内存使用。
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
声厂,一个为创作者提供正版音乐素材和工具的版权交易平台，全自有正版曲库，数万音乐音效，适配场景多样，权益丰富，高性价比。