苹果对 Siri 进行全面改造 具有屏幕感知能力以及跨应用执行各种任务

在 WWDC 2024 大会上，苹果公司对 Siri 进行了全面改造，以适应其今年推动的生成式 AI 技术。Siri 现在变得更加自然、相关且个性化，并且拥有全新的外观，包括一个环绕设备屏幕边缘的发光图标。

Siri 主要改进和详细功能

1. 自然语言处理

• 更好的语音处理：Siri 现在能够更好地理解语音中的停顿和错误，使交互更加流畅自然。
• 文本输入：用户可以通过键入来与 Siri 互动，特别是在不方便说话的情况下，例如在公共场所或需要保持安静的环境中。
• 用户可以选择以文字方式与 Siri 互动，这在不方便语音交互的情况下尤为实用。用户可以双击屏幕底部快速安静地与 Siri 进行文字交互

2. 全新设计

• 全新的图标和界面：Siri 现在拥有一个新的图标，当被激活时，会在设备屏幕边缘显示发光效果，提供更直观的视觉反馈。

3. 屏幕感知

• 识别屏幕内容：Siri 可以识别屏幕上的内容，并根据上下文执行操作。例如，如果朋友发来一个地址，用户可以指示 Siri 将该地址添加到联系人中。
• Siri 能理解用户在应用中的更多操作，并利用新的编排能力在应用内执行任务。例如，用户可以说“展示我在纽约的 Stacy 穿着粉色外套的照片”，然后进一步说“让这张照片更加突出”，Siri 会自动调整照片

4. 跨应用操作

• Siri 将能够在应用程序内外执行数百种新操作（包括第三方应用程序），包括使用新的生成能力。
• App Intents API：新的 API 允许开发者将 Siri 深度集成到他们的应用中，Siri 可以在这些应用中执行各种操作。
  • 示例功能：
    • 照片增强：用户可以要求 Siri “增强这张照片的效果”，Siri 会根据用户需求自动调整照片。
    • 跨应用任务：例如，用户可以要求 Siri 从邮件中提取信息并添加到日历中，或者将编辑好的照片插入到笔记应用中。

使用Siri在应用程序中和应用程序之间无缝地采取行动。您可以提出类似“将我起草的电子邮件发送给April和Lilly”的请求，Siri知道您正在引用哪封电子邮件以及它在哪个应用程序中。Siri可以跨应用程序进行操作，因此在您要求Siri通过说“让这张照片弹出”来增强照片后，您可以让Siri将其放在“备忘录”应用程序中的特定笔记中——无需动动手指。

• 用户可以询问航班信息、安排日程、在应用之间执行任务、调整照片等，所有这些操作都可以通过自然语言与 Siri 互动完成

5. 个人上下文理解

• 利用个人数据：Siri 能够利用用户的消息、日历事件、文件和照片等个人数据来完成更复杂的任务。
  • 示例功能：
    • 提取信息：Siri 可以找到用户驾照的照片，提取 ID 号码并将其输入到网页表单中。
    • 添加地址：用户可以要求 Siri 将朋友发来的地址添加到联系人卡片中。

6. 改进的隐私保护

• 本地处理：大多数 AI 处理在设备本地完成，确保用户数据不被泄露。
• Private Cloud Compute：处理复杂任务时，通过私有云计算完成，但仍然保护用户隐私。

7. 集成 ChatGPT

• 生成式 AI：Siri 集成了 OpenAI 的 GPT 4o技术，提供更强大的文本和图像生成能力。
• 无需账户：用户无需创建账户即可使用 ChatGPT 功能，但可以选择升级到高级功能。

7. 新功能和开发者支持

• Siri 将能够执行更多的跨应用操作，开发者可以利用 App Intents 框架定义应用中的操作，从而更好地与 Siri 和其他系统体验集成
• 开发者可以使用新的 SDK 和 API，将图像游乐场体验添加到他们的应用中，增强用户在应用中的互动体验

8.扩展的产品知识

• Siri 现在掌握了大量的产品信息和设置，能够回答成千上万的问题，帮助用户更好地使用 iPhone、iPad 或 Mac
• 即使用户不知道具体功能的名称，也可以通过描述让 Siri 找到所需的信息，例如“如何编写一条明天发送的消息”​