Anthropic击败OpenAI：Claude 3.5 Sonnet与GPT-4o的并排对比

Austin Starks详细对比了Anthropic的Claude 3.5 Sonnet和OpenAI的GPT-4o两大领先的AI语言模型。通过使用NexusTrade这个AI驱动的交易平台，文章重点评估了这两个模型在速度、准确性和用户体验方面的表现，并通过多个测试详细展示了它们的优缺点。

初步印象

• Claude 3.5 Sonnet：
  • 起初，Claude的表现并不令人印象深刻，主要由于其高昂的成本和看似任意的API规则。然而，Claude的最新版本在性能和用户体验上有了显著提升。
• GPT-4o：
  • GPT-4o在某些任务上表现出色，但整体表现不稳定，常常无法满足用户的期望。

测试1：创建具有定义参数的投资组合

• 任务描述：
  • 生成一系列语法有效的JSON，并总结信息，这是AI语言模型在实际使用中的一个强大用例。
• GPT-4o表现：
  • 响应时间较快，中间请求响应时间为3-3.5秒，最终响应时间为53.5秒。
  • 输出内容虽然正确，但显得机械，包含了用户不需要的填充词。
• Claude 3.5 Sonnet表现：
  • 每个中间响应时间为3.6-4秒，最终响应时间为83.5秒，显著慢于GPT-4o。
  • 输出内容更为人性化，准确描述了策略规则，没有多余的填充词，用户体验更好。

测试2：创建带有自定义指标的复杂投资组合

• 任务描述：
  • 配置几乎可以想象的任何交易策略，包括对技术和基本指标进行算术运算。
• GPT-4o表现：
  • 生成的投资组合配置中买入策略配置错误，包含未指定的其他条件。
  • 止损策略配置不合理，未能准确反映预期的百分比变化。
• Claude 3.5 Sonnet表现：
  • 尽管响应时间为180秒，但生成的配置100%准确，完全符合给定的复杂策略，表现出色。

测试3：使用AI驱动的股票筛选器

• 任务描述：
  • 基于特定标准查询股票，例如查找2016年至2020年现金流增长最高的五家公司。
• GPT-4o表现：
  • 在26秒内提供了响应，但结果的准确性存疑，一些数据看起来不合理。
• Claude 3.5 Sonnet表现：
  • 由于生成的查询过于复杂，模型未能返回响应，显示出处理某些复杂查询的局限性。

成本对比与综合分析

• 成本：
  • Claude的输入令牌成本几乎是GPT-4o的一半，输出令牌成本相同，且上下文窗口比GPT-4o大50%。
• 综合分析：
  • Claude 3.5 Sonnet在推理和提供人性化响应方面表现更好，适合需要复杂配置的任务。
  • GPT-4o响应速度更快，可能更适合对速度要求高的任务。
  • 综合考虑成本、上下文窗口、速度和推理能力，Claude 3.5 Sonnet稍胜一筹，但具体选择取决于用户的具体需求。

全文翻译