Claude Fable 5.1 和 Claude Mythos 5.1 发布概述
Claude Fable 5.1 和 Claude Mythos 5.1 作为 Anthropic 的 Mythos 系列模型的更新版本发布,其中 Claude Fable 5.1 是自 6 月 9 日 Fable 5 发布以来的首个 Mythos 系列更新。Anthropic 将这些新模型描述为 “全球最先进的编码和知识工作工具。” 两个更新均带有 5.1 的版本号,使得 5.1 成为这些模型系列的当前发布标识符。
Claude Fable 5.1 基准性能
在 Terminal-Bench-Science 0.1 基准测试中,Claude Fable 5.1 得分 52.6%,而 Fable 5 得分 24.7%,Opus 5 得分 29.0%。在 Terminal-Bench 4.0 中,Claude Fable 5.1 得分 55.8%,相比 Fable 5 的 42.0% 和 Opus 5 的 52.3%。Claude Fable 5.1 的 Terminal-Bench-Science 0.1 得分是 Fable 5 的两倍多,并且在这些基准测试中超过了 Opus 5 的报告分数。Anthropic 发布的信息显示,Fable 5.1 现在在其发布的每个基准测试中均优于 Opus 5。
Mythos 5.1 在 Terminal-Bench-Science 0.1 中得分 60.9%,而 Anthropic 注意到 Mythos 5.1 具备更少的安全保障,并且分数差距反映了安全保障拦截并转给 Opus 4.8 的任务。在 Humanity’s Last Exam 中,Claude Fable 5.1 在没有外部工具的情况下得分 60.9%,而使用工具时得分 65.0%。Anthropic 报告称,该测试中无需工具和使用工具的 Fable 5.1 结果均超过了 Opus 5。
Claude Fable 5.1 基准性能
在Terminal-Bench-Science 0.1基准测试中,Claude Fable 5.1的得分为52.6%,而Fable 5的得分为24.7%,Opus 5的得分为29.0%。在Terminal-Bench 4.0中,Claude Fable 5.1的得分为55.8%,而Fable 5的得分为42.0%,Opus 5的得分为52.3%。Claude Fable 5.1的Terminal-Bench-Science 0.1得分超过了Fable 5的两倍,并在这些报告的基准测试中击败了Opus 5。Anthropic发布消息称,Fable 5.1现在在其发布的每个基准测试中都击败了Opus 5。
Mythos 5.1在Terminal-Bench-Science 0.1中的得分为60.9%,Anthropic注意到Mythos 5.1的安全防护较少,并且得分差距反映了这些安全防护阻止的任务并重新分配给Opus 4.8。在人类的最后考试中,Claude Fable 5.1在不使用外部工具的情况下获得了60.9%的得分,使用工具后得分为65.0%。Anthropic报告称,无论是无工具的还是增强工具的Fable 5.1在该测试中的结果都领先于Opus 5。
Claude Fable 5.1作为Anthropic的Mythos系列模型线的更新发布,代表自6月9日Fable 5发布以来的首次Mythos系列更新。Anthropic报告的基准结果显示,Claude Fable 5.1相较于以前的模型有显著改善——在Terminal-Bench-Science 0.1上得分是Fable 5的两倍,并在发布的基准测试中超越了Opus 5——同时Anthropic还展示了相关的Mythos 5.1和人类最后考试的结果。


