Anthropic 今天发布了更新版Claude 3.5 Sonnet型号和新版 Claude 3.5 Haiku 型号。更新后的 Claude 3.5 Sonnet 模型全面提升了性能,在编码方面也有显著改进。Claude 3.5 Haiku 是 Anthropic 对OpenAI 的 GPT-4o Mini和谷歌的Gemini 1.5 Flash 的回应。它的售价与前代产品相同,但性能有了显著提升。
Claude 3.5 Sonnet 的改进:
- SWE 基准验证得分从 33.4% 提高到 49.0%,是业内所有模型中得分最高的。
- 在零售领域,TAU-bench 得分从 62.6% 提高到 69.2%,在航空领域从 36.0% 提高到 46.0%。
- GPQA 和 MMLU Pro 分数分别增至 65% 和 78%,优于Gemini 1.5 Pro。
新的 Claude 3.5 Haiku 模型在许多人工智能基准测试中击败了 Anthropic 上一代最大的模型 Claude 3 Opus。Claude 3.5 Haiku 在 SWE-bench Verified 上的得分率为 40.6%,超过了原来的 Claude 3.5 Sonnet 和 OpenAI GPT-4 Turbo。Claude 3.5 Haiku 最初将只提供纯文字模型,稍后将支持图像。
Anthropic 还强调,新的 Claude 3.5 Sonnet 模型的联合部署前测试是由美国人工智能安全研究所(US AISI)和英国安全研究所(UK AISI)共同进行的,这也是他们今年年初签署的协议的一部分。根据他们的 “负责任扩展政策”,更新后的克劳德 3.5 Sonnet 模型符合 ASL-2 标准。
更新后的 Claude 3.5 Sonnet 现在可以通过 Anthropic API、亚马逊 Bedrock 和谷歌云的 Vertex AI 以相同的价格提供给所有开发者。新的 Claude 3.5 Haiku 型号将于本月晚些时候上市。
这些新的 Claude 3.5 模型性能更强、价格更低,对于为其人工智能应用寻求高级语言模型的开发人员和企业来说,是极具吸引力的选择。