Gemma-10M 模型使用一种称为 Infini-Attention 的技术，将 Gemma 2B 的上下文窗口扩展到 10M。其主要方法是通过循环局部注意力和压缩记忆，实现长距离依赖关系的保留。
特性：
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
将 Gemma 2B 的上下文窗口扩展到 1000万的技术方法
发布时间：2024年05月18日
一键智能生成海报，免费AI一键智能生成海报，千图设计室AI海报让海报设计更轻松！