CodeGeeX2来了!效果超LLaMA2-70B

清华唐杰团队升级推出CodeGeeX2～效果超过LLaMA2-70B和StarCoder-15B。开源了模型和插件，欢迎大家一起玩玩。

很多时候对于公司内部业务代码开发场景，由于代码安全性，很难使用 Github Copilot 去 AI 生成，发现清华发布了「CodeGeeX2」，基于 ChatGLM2-6B 基座模型，CodeGeeX2-6B 进一步经过了 600B 代码数据预训练，相比上一代，能力有全面提升，

不同于一代，CodeGeeX2是基于ChatGLM2架构加入代码预训练实现，在代码能力上全面提升，HumanEval-X 评测集的六种编程语言均大幅提升 (Python +57%, C++ +71%, Java +54%, JavaScript +83%, Go +56%, Rust
+321%)，在Python上达到 35.9% 的 Pass@1一次通过率，超越规模更大的 StarCoder-15B。

得益于ChatGLM2优秀特性，CodeGeeX2更好支持中英文输入，支持最大 8192 序列长度，推理速度较一代 CodeGeeX-13B 大幅提升，量化后仅需6GB显存即可运行，支持轻量级本地化部署。

CodeGeeX插件（VS Code, Jetbrains）后端也全面升级，支持超过100种编程语言，新增上下文补全、跨文件补全等实用功能。结合 Ask CodeGeeX 交互式AI编程助手，支持中英文对话解决各种编程问题，包括且不限于代码解释、代码翻译、代码纠错、文档生成等，帮助程序员更高效开发。

我们开发了支持 VS Code、 IntelliJ IDEA、PyCharm、GoLand、WebStorm、Android Studio 等IDE的
CodeGeeX 插件。在插件中，可以更直接地体验到 CodeGeeX2 模型在代码生成与补全、添加注释、代码翻译及技术问答方面的能力为开发效率带来的提升。欢迎在IDE中下载 CodeGeeX 插件获得更加全面的AI编程体验。

CodeGeeX2 是多语言代码生成模型 CodeGeeX (KDD’23) 的第二代模型。不同于一代 CodeGeeX（完全在国产华为昇腾芯片平台训练） ，CodeGeeX2 是基于 ChatGLM2 架构加入代码预训练实现，得益于 ChatGLM2 的更优性能，CodeGeeX2 在多项指标上取得性能提升（+107% > CodeGeeX；仅60亿参数即超过150亿参数的
StarCoder-15B 近10%），更多特性包括：

·

更强大的代码能力：基于 ChatGLM2-6B 基座语言模型，CodeGeeX2-6B 进一步经过了 600B 代码数据预训练，相比一代模型，在代码能力上全面提升，HumanEval-X 评测集的六种编程语言均大幅提升 (Python +57%,
C++ +71%, Java +54%, JavaScript +83%, Go +56%, Rust +321%)，在Python上达到 35.9% 的
Pass@1 一次通过率，超越规模更大的 StarCoder-15B。

更优秀的模型特性：继承 ChatGLM2-6B 模型特性，CodeGeeX2-6B 更好支持中英文输入，支持最大 8192 序列长度，推理速度较一代 CodeGeeX-13B 大幅提升，量化后仅需6GB显存即可运行，支持轻量级本地化部署。

更全面的AI编程助手：CodeGeeX插件（VS Code, Jetbrains）后端升级，支持超过100种编程语言，新增上下文补全、跨文件补全等实用功能。结合 Ask CodeGeeX 交互式AI编程助手，支持中英文对话解决各种编程问题，包括且不限于代码解释、代码翻译、代码纠错、文档生成等，帮助程序员更高效开发。

更开放的协议：CodeGeeX2-6B 权重对学术研究完全开放，填写登记表申请商业使用。

项目链接

https://github.com/THUDM/CodeGeeX2

出自：https://mp.weixin.qq.com/s/E3b2FFvvke1seJO5rgS0Aw