Gemma-10M 模型使用一种称为 Infini-Attention 的技术，将 Gemma 2B 的上下文窗口扩展到 10M。其主要方法是通过循环局部注意力和压缩记忆，实现长距离依赖关系的保留。
特性：
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.
Login if you have purchased
将 Gemma 2B 的上下文窗口扩展到 1000万的技术方法
发布时间：2024年05月18日
MoonHub AI是世界上第一家人工智能驱动的招聘公司，为初创企业和成长型企业提供人才和招聘服务。