首页 > Ai资讯 > Ai教程 > Anything-LLM

Anything-LLM

发布时间:2024年09月10日

这是一个全栈应用程序,可以将任何文档、资源(如网址链接、音频、视频)或内容片段转换为上下文,以便任何大语言模型(LLM)在聊天期间作为参考使用。此应用程序允许您选择使用哪个LLM或向量数据库,同时支持多用户管理并设置不同权限。

 


 

您可以使用现成的商业大语言模型或流行的开源大语言模型,再结合向量数据库解决方案构建一个私有ChatGPT,不再受制于人:您可以本地运行,也可以远程托管,并能够与您提供的任何文档智能聊天。

AnythingLLM将您的文档划分为称为workspaces (工作区)的对象。工作区的功能类似于线程,同时增加了文档的容器化,。工作区可以共享文档,但工作区之间的内容不会互相干扰或污染,因此您可以保持每个工作区的上下文清晰。

下载方式:

1、Github 开源项目【点击前往

2、网盘打包 【点击下载

AnythingLLM的一些酷炫特性

  • 多用户实例支持和权限管理
  • 工作区内的智能体Agent(浏览网页、运行代码等)
  • 为您的网站定制的可嵌入聊天窗口
  • 支持多种文档类型(PDF、TXT、DOCX等)
  • 通过简单的用户界面管理向量数据库中的文档
  • 两种对话模式:聊天查询。聊天模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答
  • 聊天中会提供所引用的相应文档内容
  • 100%云部署就绪。
  • “部署你自己的LLM模型”。
  • 管理超大文档时高效、低耗。只需要一次就可以嵌入(Embedding)一个庞大的文档或文字记录。比其他文档聊天机器人解决方案节省90%的成本。
  • 全套的开发人员API,用于自定义集成!

支持的LLM、嵌入模型、转录模型和向量数据库

 

支持的LLM:

支持的嵌入模型:

支持的转录模型:

支持的向量数据库:

技术概览

 

这个单库由三个主要部分组成:

  • frontend: 一个 viteJS + React 前端,您可以运行它来轻松创建和管理LLM可以使用的所有内容。
  • server: 一个 NodeJS express 服务器,用于处理所有交互并进行所有向量数据库管理和 LLM 交互。
  • docker: Docker 指令和构建过程 + 从源代码构建的信息。
  • collector: NodeJS express 服务器,用于从UI处理和解析文档。

🛳 自托管

 

Mintplex Labs和社区维护了许多部署方法、脚本和模板,您可以使用它们在本地运行AnythingLLM。请参阅下面的表格,了解如何在您喜欢的环境上部署,或自动部署。

Docker AWS GCP Digital Ocean Render.com
在 Docker 上部署 在 AWS 上部署 在 GCP 上部署 在DigitalOcean上部署 在 Render.com 上部署
Railway
在Railway上部署

其他方案:不使用Docker配置AnythingLLM实例 →

如何设置开发环境

 

  • yarn setup 填充每个应用程序部分所需的 .env 文件(从仓库的根目录)。
    • 在开始下一步之前,先填写这些信息server/.env.development,不然代码无法正常执行。
  • yarn dev:server 在本地启动服务器(从仓库的根目录)。
  • yarn dev:frontend 在本地启动前端(从仓库的根目录)。
  • yarn dev:collector 然后运行文档收集器(从仓库的根目录)。

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。