首页 > Ai资讯 > Ai知识库 > 发现一个好东西,一键本地运行各种大模型!包括最新的Qwen1.5

发现一个好东西,一键本地运行各种大模型!包括最新的Qwen1.5

发布时间:2024年06月06日

眼看快过年了!

通义千问Qwen又来了一波超吊的更新!

IMG_256

Qwen这波年终大放送相当给力,将所有模型更新到了1.5版本,一次性放出6个尺寸,几十个模型!

各项指标也是相当牛逼。

IMG_257

虽然离GPT-4 Turbo还有一些距离,但是一个开源模型都这么能打,还要什么飞机。

而且配套齐全。

IMG_258

一堆周边等你来玩。

无论是本地部署,服务器API,微调,全部给你整的明明白白。

突然发现,现在做程序员挺无助的!

有些需求你刚开始想,人家就已经做好了。

比如,我之前搞了一个叫Jarvis的一键运行包,想着可以集成各种最新的大模型。

我开了个头,就划水了。

现在一看,已经有很多这样的软件了。

比如这叫LM Studio的软件。

IMG_259

只要只支持GGUF的大语言模型,都可以一键安装,一键运行,立马开始对话。简直就是...

"GGUF"代表GPT-Generated Unified Format,是一种由Georgi Gerganov定义发布的大模型文件格式。Georgi Gerganov是著名开源项目llama.cpp的创始人。

GGUF是一种二进制格式文件的规范,旨在使原始的大模型预训练结果经过转换后能够更快地被载入使用,并且消耗更低的资源。GGUF通过采用紧凑的二进制编码格式、优化的数据结构、内存映射等多种技术来保存大模型预训练结果,从而提高效率。

简而言之,GGUF可以理解为一种高效处理和使用大型语言模型的文件格式定义,它通过格式转换优化模型的加载速度和运行效率。

软件目前完全免费,已经支持苹果的Mac M系列,微软的Windows系统,Linux系统。

除了可以直接对话之外,还支持API,而且硬件要求极低,真是要啥有啥。


本地玩转大模型绝对不是梦了。

今天,就拿Qwen来演示下!

首先当然是获取软件并安装。

安装简单到爆,只要双击EXE就可以了,不用任何配置。

打开后,可以看到一个搜索框,只要输入大模型的名字,或者huggingface的项目地址。就可以找到模型了。

IMG_260

由于Qwen已经和他们那个啥了。所以无需搜索,在软件上可以直接看到。

点一下 Download就开始下载模型了。

IMG_261

默认保存路径在C盘,如果要修改路径可以看下图。

IMG_262

下载过程中,软件底部会有进度条。

下载完成之后,点击顶部中间的下拉菜单,选择模型即可。

User处输入问题,回车,就可以进行对话了!

IMG_263

一键安装,一键加载,一键聊天。

相当丝滑!!!

IMG_264

从截图中可以看到,我们已经成功和通义千问离线模型对上话了。

从图上数据可以看到,每秒能到达27tok,基本可以流畅对话了。

我本来想当然认为这是用了GPU

实际上...看了一眼任务管理器,好像并没有用到。

有的话用得也不多。

IMG_265

这个东西就有点牛逼了。默认加载的是70亿参数的模型哦!!!

如果你觉得这个对话速度还是有点慢,那么我们来体验一下Qwen最小的大模型。

直接在搜索框里输入Qwen1.5

IMG_266

找到0.5B的模型。

从详细信息中可以看到,这个模型只有664MB

我们以前玩的大模型动不动就是5G起步,对比之下,这个大小实在是太安逸了。

另外,上面说过,这个软件不单单支持Qwen,还支持很多其他大语言模型。

应该是llama.cpp支持的模型都支持。

看着llama.cpp出现,看着基于它的应用出现。

技术发展真的是日新月异,我们都是这个时代的见证人。

由于网络原因,有些人可能无法获取软件或者模型。

我已经把模型放在网盘里了。

下载Models文件夹,然后通过软件设置模型路径,指向这个文件夹就可以了。

除了72B之外(一般设备也跑不了),另外5类模型全部给你们准备好了。

发送lms即可获取软件和模型!

出自:https://mp.weixin.qq.com/s/Od5j1Vorhho_MqsIu8XH0Q