首页 > Ai资讯 > Ai日报 > Google将推出Ask Photos 用户能够通过自然语言搜索本机里照片和视频

Google将推出Ask Photos 用户能够通过自然语言搜索本机里照片和视频

发布时间:2024年05月18日

Ask Photos 是 Google Photos 即将推出的实验性功能,利用 AI 模型 Gemini,使用户能够通过自然语言问题搜索照片和视频,并辅助完成相关任务。

  • Ask Photos 允许用户使用自然语言问题来搜索照片和视频。
  • 例如,用户可以询问“去年在哪里露营”或“我的代金券什么时候过期”,Ask Photos 会找到相关的照片和信息。

Ask Photos 的主要功能:

  1. 自然语言搜索:Ask Photos 允许用户使用自然语言问题来搜索照片和视频。无需记住具体的关键词或拍摄日期,用户可以直接询问:“去年我们在哪个国家露营?”或“我的孩子第一次生日是什么时候?”Ask Photos 会根据这些问题找到相关的照片。
  2. 上下文理解和细节提取:Gemini AI 模型能够理解照片的上下文和主题,提取其中的细节信息。例如,用户可以问:“我们过去几年的圣诞节装饰是什么样的?”Ask Photos 会分析照片中的背景装饰、场景和其他细节,并提供相关的结果。
  3. 任务辅助:Ask Photos 不仅帮助用户搜索照片,还能辅助完成各种任务:
    • 创建旅行亮点:用户可以让 Ask Photos 帮助创建旅行照片集锦,只需简单地询问即可得到精选照片和个性化的分享文字。
    • 撰写个性化的社交媒体分享内容:Ask Photos 可以根据照片内容生成个性化的描述,方便用户在社交媒体上分享。
  4. 多模态能力:Gemini 的多模态能力使其能够处理和理解照片中的复杂信息,包括文字、场景和人物。例如,用户可以询问:“Lena 的生日派对有哪些主题?”Ask Photos 会分析生日蛋糕、装饰和其他背景细节来回答这个问题。
  5. 动态调整和学习:Ask Photos 可以根据用户的反馈进行动态调整和学习。如果用户纠正或提供了额外的信息,Ask Photos 会记住这些细节,以便在未来的搜索和任务中提供更准确的结果。

Ask Photos 的工作原理

Ask Photos 功能背后的工作机制可以分为三个主要步骤:理解问题、生成响应以及确保安全和记忆修正。以下是详细解释:

1. 理解问题

Ask Photos 首先会理解用户的查询,并形成一个找到答案的计划。

  • 解析查询:利用自然语言处理技术,Ask Photos 能够解析用户输入的自然语言问题,识别相关的关键词,如地点、人物和日期,以及自然语言概念,如“主题生日派对”。
  • 形成搜索计划:根据解析结果,Ask Photos 生成一个搜索计划,确定需要查找的具体信息。
2. 生成响应

理解问题后,Ask Photos 通过多步骤生成一个响应:

  • 分析搜索结果:对搜索结果进行分析,确定哪些照片和视频最相关,哪些看起来最符合用户的查询。
  • 多模态能力:利用 Gemini 的多模态能力,Ask Photos 可以理解每张照片中具体发生的情况,甚至可以读取图像中的文字(如果需要)。
  • 构建响应:根据分析结果,Ask Photos 生成一个详细且有用的响应,选择并返回最符合用户需求的照片和视频。
3. 确保安全和记忆修正

在整个过程中,Ask Photos 采取了多层次的措施,确保响应的安全性和适当性,并能记住用户的修正。

  • 安全保障:尽管 Ask Photos 是实验性功能,并不能保证所有响应都是完全正确的,Google 依然采用了多层次的安全措施和 AI 模型,确保响应是安全和合适的。
  • 记忆修正:如果用户纠正了一个答案或提供了额外的信息,Ask Photos 可以记住这些细节,以便在未来的查询中提供更准确的响应。
工作示意图
  1. 用户输入问题
    • 用户:去年我在哪里露营?
  2. 理解问题
    • 解析查询,识别关键词“去年”和“露营”。
    • 形成搜索计划,查找相关照片。
  3. 生成响应
    • 分析搜索结果,选择最相关的露营照片。
    • 使用 Gemini 的多模态能力理解照片中的场景和细节。
    • 构建并返回一个详细的响应,包含最符合查询的照片和信息。
  4. 确保安全和记忆修正
    • 采用安全措施,确保响应的适当性。
    • 记住用户的反馈和修正,以改进未来的响应准确性。

原帖:https://blog.google/products/photos/ask-photos-google-io-2024/

如果你想要了解关于智能工具类的内容,可以查看 智汇宝库,这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息,了解智能工具的用法以及最新动态。