首页 > Ai资讯 > Ai日报 > Upstash Vector:将维基百科索引成1.44亿向量数据 构建搜索引擎和RAG机器人

Upstash Vector:将维基百科索引成1.44亿向量数据 构建搜索引擎和RAG机器人

发布时间:2024年08月22日

Upstash Vector,一个支持可扩展相似性搜索的向量数据库,对 1100 万篇维基百科文章进行了向量化,索引超过1.5亿个向量。该项目的目标是利用维基百科的数据创建一个语义搜索引擎和一个RAG(基于检索增强生成的)聊天机器人。维基百科因其丰富的信息库和易于获取的特点被选为数据源。

通过下载大规模的维基百科数据,将其清理并拆分成可管理的段落,然后使用 Upstash 提供的 BGE-M3 模型对这些段落进行嵌入处理。嵌入过程持续了近一周,最终生成了大约1.44亿个向量,覆盖了11种语言(英语、德语、法语、俄语、 西班牙语、意大利语、中文、日语、葡萄牙语、波斯语和土耳其语)。这些向量被索引到 Upstash Vector 中,实现了高效的语义搜索。

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

加入会员

加入会员查看更多会员内容和教程。
超过1000+的会员内容,每天更新。

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。