无显卡+纯本地跑Qwen1.5版模型！0基础闭眼部署指南！适用绝大部分开源模型！llama2+Mistral+Zephyr通杀！

在新年几天，把知识图谱和高级RAG应用干完！

干完了，我们继续干agent！干教育组项目！

接下来我们会用到纯本地的环境，做知识图谱+RAG应用！

我需要部署一个本地开源模型，完成任务！

但雄哥带回家的笔记本电脑，没有显卡！

怎么办？

刚好qwen发布了1.5 版本！而且一下更新了：0.5B, 1.8B, 4B, 7B, 14B,  72B

6个尺寸版本！

最小的尺寸仅0.5B！

就是不知能力如何！

我们先看看他常规尺寸的数据，这么看，各项数据，不管放在国内外，在开源阵营中，都是非常能打的！

但雄哥本地没有显卡，只能用CPU来跑，而且日后接API出来做知识图谱和RAG，小尺寸模型才是我的菜！

来看看小尺寸的表现！

嗯！就它了！

雄哥本地没有任何显卡，只有CPU！到时跑知识图谱，那个温度+音浪~

已经有画面了！

人的专注力只有10分钟，那，话不多说！

① 部署ollama推理环境！

② 下载qwen1.5版本模型！(全)

③ 启动推理！跑起来！

价值内容，仅对知识星球会员开放，被长辈催婚，不如关门学习，快加入星球，一起打卡学习吧！

我们已经做了大模型微调、知识库+RAG、数据预处理、langchain+llama_index的内容！点击下方小程序申请加入！

第一部分：部署ollama推理环境

ollama！是一个操作简单的大模型部署工具！可以无缝接入到各大应用中！

当然！支持langchain+llama_index！来看看它的优势！

运行环境：纯本地

支持系统：Mac、linux、win系统的WSL2

算力要求：零！雄哥16G内存，0显存，照样跑！

部署方式：一条指令搞掂，无需安装依赖！

docker：完美使用！

GitHub地址：https://github.com/ollama/ollama

接下来，雄哥用win11系统的WSL和docker两种方式来部署它！

如果你是小白，没关系，你可以把ollama理解为一个手机系统，大模型就是一个APP！

只有安装了系统，我们才能启动一个APP，一样道理！

好！动起手来，跟着雄哥把系统部署下来！

1.1 安装wsl+docker

是的，雄哥是0基础教，那一定是从这个开始的！wsl和docker几乎是捆绑在一起的！

首先，我们要先安装wsl！这是win系统的linux虚拟机，完全独立于win系统！这样无需安装双系统了！

安装！对你日后的AI环境使用，都有好处，雄哥的使用率极高！

安装wsl有自动和手动两种，雄哥用自动挡，没成功~

没关系，手动安装也是一眨眼的事！

现在在开始菜单按钮右键，管理员身份运行终端！

输入以下指令，回车！启动wsl功能

· 

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

继续！输入以下指令，回车！启动虚拟机功能！

· 

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

打开电脑的“应用商店”，搜索并安装wsl！

回到刚刚的窗口，看看安装成功没！输入以下指令！回车！

· 

wsl --list --verbose

注意看！星标在不在新安装的这个版本上！

如果不在，输入以下指令，将新安装的wsl设置为默认版本！

否则是无法启动的！

· 

wsl --set-default-version Ubuntu-22.04

现在，该安装docker了！

在知识星球会员盘下载docker后！直接下一步安装！

安装成功后，注意要点设置！打钩！

全部搞掂！

1.2 安装ollama！

打开刚刚那个WSL小企鹅！这是linux和wsl的安装指令！

一条搞掂，输入后回车！

· 

curl https://ollama.ai/install.sh | sh

整个下载几分钟搞掂！因为雄哥本地的笔记本，没有显卡，只有CPU，所以它提示我，会用CPU来运行模型！

没关系！

下载完了，这个系统就搞掂了！

之后运行模型只需要一条指令！

是不是很简单？

甚至不用安装依赖！

上面已经安装好了！不需要再做任何操作了！

当然，你也可以用docker安装，如果你还想拓展更多花活，你就可以玩docker了，也是一条指令搞掂！

两个系统是独立的，一个在docker，一个在wsl中！

· 

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

第二部分：下载模型！（全）

雄哥实在太爱这个工具了，下载模型只需要一条指令！无需魔法！

首先！雄哥要下载qwen1.5版本的模型，ollama专门做了一个模型商店！

上面有绝大部分的开源模型！以下是qwen1.5版本仓库的商店链接！

· 

https://ollama.ai/library/qwen/tags

直接在wsl窗口输入以下指令，回车！

· 

ollama run qwen:0.5b

这是支持的所有开源模型的商店链接！

客观您慢慢挑~

https://ollama.ai/library

注意！在docker中的操作是完全不同的！

使用以下命令。

仅 CPU

· 

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

有英伟达GPU的

1. 

安装 Nvidia 容器工具包。

2. 

3. 

在 Docker 容器中运行 Ollama

4. 

· 

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型

现在，您可以在容器内运行类似 qwen1.5_0.5b 的模型。

· 

docker exec -it ollama ollama run qwen:0.5b

第三部分：启动推理！跑起来！

跑起来！

一条指令！

· 

ollama run qwen:0.5b-chat

没错！还是它！

如果你下载完，会自动进入chat，退出后，也可以用它来启动！

你有什么问题在，直接在窗口就可以跟它对话，CPU，也非常快！

简单问了两个问题！

问1：树上有10只鸟，开 枪打死一只，树上还有几只鸟？

答1：当开枪打死一只之后，树上可能会剩下9只鸟。但请注意，这只是一个假设的计算，并没有考虑到所有可能的情况。

问2：你是谁

答2：我是来自阿里云的大规模语言模型——通义千问。我不仅能够理解和生成高质量的文字，而且还能进行深度对话和知识查询，为用户提供更便捷的服务。

整个回答，还算简洁，没什么多余的话，这只是0.5B的！跑完了这个，我感觉我的电脑可以跑4B的，16G显存，马上下载试试！

反正一条指令干完所有事，大家也动起手来

qwen1.5系列，全系都是32K，真的好评！

雄哥好好玩下

后续我们要用它来部署纯本地的LLM，接API来做知识图谱+RAG应用！

出自：https://mp.weixin.qq.com/s/Hx0C0GG63iHm6W_PlQdhJw