首页 > Ai资讯 > Ai知识库 > QAnything:网易有道最新开源的“本地化部署知识库”AI问答系统

QAnything:网易有道最新开源的“本地化部署知识库”AI问答系统

发布时间:2024年06月06日

项目简介

"QAnything"是网易有道开发的本地知识库问答平台。这个项目通过集成和优化问答过程,用全面且灵活的解决方案来处理各种类型的问题。使用PythonVueTypeScript,确保高效和用户友好的体验。它不仅适合技术开发者,也能为一般用户提供实际帮助。

特点

·数据安全,支持在整个过程中断网线安装和使用。

·跨语言问答支持,可以在中英文问答之间自由切换,不受文档语言的限制。

·支持大规模数据问答,两阶段检索排名,解决大规模数据检索的退化问题;数据越多,性能越好。

·高性能生产级系统,可直接部署于企业应用。

·用户友好,无需繁琐配置,一键安装和部署,即插即用。

·支持多知识库问答,可选择多个知识库进行问答。

架构

两阶段探索

在处理大量知识库数据的场景中,两阶段检索方法的优势非常明显。如果只使用第一阶段的嵌入式检索,随着数据量的增加,将会出现检索退化的问题,如下图中的绿线所示。然而,经过第二阶段的重排后,可以实现稳定的准确率提升,数据越多,性能越好。

RAG评估在LlamaIndex中(嵌入和重排)

IMG_258

注意

WithoutReranker设置中,bce-embedding-base_v1模型在所有其他嵌入模型中表现最佳。

固定嵌入模型时,bce-reranker-base_v1模型实现了最佳性能。

bce-embedding-base_v1bce-reranker-base_v1的组合是目前技术最先进的。

如果想要分别使用嵌入和重排功能,请参考BCEmbedding
LLM

安装

步骤1:拉取QAnything

·

git clone https://github.com/netease-youdao/QAnything.git

步骤2:下载模型并将其解压到当前项目的根目录。

有几种方法,选择了一种最好的分享给大家

·

·

·

·

·

cd QAnything# Make sure you have git-lfs installed (https://git-lfs.com)git lfs installgit clone https://www.wisemodel.cn/Netease_Youdao/qanything.gitunzip qanything/models.zip   # in root directory of the current project

步骤3:修改配置

·Windows系统中

·

·

vim docker-compose-windows.yaml # change CUDA_VISIBLE_DEVICES to your gpu device idvim front_end/.env.production # set the excetly host.

·Linux系统中

·

·

vim docker-compose-linux.yaml # change CUDA_VISIBLE_DEVICES to your gpu device idvim front_end/.env.production # set the excetly host.

启动服务器

·Windows系统中

·

·

·

·

·

·

# Background startup, ctrl+c will not stop.docker-compose -f docker-compose-windows.yaml up -d# Execute the following command to view the log.docker-compose -f docker-compose-windows.yaml logs qanything_local# Stop servicedocker-compose -f docker-compose-windows.yaml down

·Linux系统中

·

·

·

·

·

·

# Background startup, ctrl+c will not stop.docker-compose -f docker-compose-linux.yaml up -d# Execute the following command to view the log.docker-compose -f docker-compose-linux.yaml logs qanything_local# Stop servicedocker-compose -f docker-compose-linux.yaml down

安装成功后,可以在浏览器中输入以下地址来体验该应用程序。

前端地址:http://{your_host}:5052/qanything/

API地址:http://{your_host}:5052/api/

项目链接

https://github.com/netease-youdao/QAnything

出自:https://mp.weixin.qq.com/s/0i98KB7THaj2jZOl-aSegQ