首页 > Ai资讯 > Ai知识库 > 在Win11上部署ChatGLM3详细步骤

在Win11上部署ChatGLM3详细步骤

发布时间:2024年06月06日

2023年10月27日,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在44个中英文公开数据集测试中,到目前为止ChatGLM3在国内同尺寸模型中排名首位。官方说明该模型的性能较前一代大幅提升,是10B以下最强基础大模型!重点来了,ChatGLM3在能力大幅增强的同时,依然是开源的、免费商用!

项目下载模型地址:Ghttps://github.com/THUDM/ChatGLM3

下面的操作都是基于您已创建了python虚拟机,安装好pytorch等工作后的操作。

1、下载本仓库

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
2、安装相关依赖

pip install -r requirements.txt
其中 transformers 库版本推荐为 4.30.2,torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能。

3、本地加载模型

网上加载模型就不要想了,速度、速度啊。我们还是本地加载模型。

git clone https://huggingface.co/THUDM/chatglm3-6b
这个地址下载不下来,可以去modelscope这个地址下载:

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
全模型文件如下图:

4、下载后,按照之前的方法,创建一个文件夹,THUDM,把这些模型考贝到里面。修改模型路径,参考之前的修改方法。

5、网页加载的方式,还是两种

(1)python web_demo.py

(2)、通过Streamlit方式加载

streamlit run web_demo2.py

(3)命令行方式

python cli_demo.py