Muse Wonder benchmark / benchmarks 不是一个总分。Meta 公布的对比表覆盖专业 Agent、编码和通用评测;Muse Wonder Full 在长程编程 DeepSWE 1.1 得分 79.0,Muse Wonder 得分 78.8,表中 Claude Opus 5.5 为 74.2、GPT-6 Astra 为 74.1。另一个由 Artificial Analysis 维护的独立 Intelligence Index 中,Meta 页面列 Muse Wonder Full 56、Muse Wonder 52、Claude Opus 5.5 58、GPT-6 Astra 53。两组数字回答的问题不同,不能直接当成同一排名。
资料核对:2026-10-13。数值来自 Meta 官方 Muse Wonder 模型页和 model card。Meta 的 model card 说明有些竞争模型数据来自供应商或第三方结果,测试 harness 并非全部一致。
Muse Wonder benchmark 与 GPT、Claude 跑分对比
以下摘录 Meta 官方模型页的几项代表性结果。Wonder 与 Wonder Full 使用 max reasoning effort;对比列也标为 max。分数越高是否越好取决于各 benchmark 的指标定义,百分数、部分奖励和指数分数不能互换。
| 评测(任务) | Muse Wonder Full | Muse Wonder | GPT-6 Astra | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE 1.1(长程软件工程,pass@1) | 79.0 | 78.8 | 74.1 | 74.2 |
| HealthBench Pro(开放式健康问题) | 62.3 | 60.5 | 65.3 | 65.6 |
| Artificial Analysis Intelligence Index(综合指数) | 56 | 52 | 53 | 58 |
这些结果显示不同任务上的差异:表中 Wonder Full 在 DeepSWE 1.1 高于这两列模型,但 HealthBench Pro 与 Artificial Analysis Index 低于 Opus 5.5。Meta 的表还包含 Claude Fable 5.1 等其他模型。来源:Meta 官方 benchmark 表、Muse Wonder model card(PDF)。
这些 Muse Wonder benchmarks 能说明什么?
DeepSWE 1.1 测试长程软件工程任务。model card 描述其样本包含 113 个任务、91 个代码库和五种语言,使用功能与回归测试评分。Meta 采用 Muse Wonder、Wonder Full 和 Claude Opus 5.5 的 Datacurve 第三方结果;GPT-6 Astra 使用 OpenAI 发布的结果,Claude Fable 5.1 则取自 Anthropic system card。因此同一 benchmark 名称并不表示每个分数都由 Meta 在一个共同运行环境中重测。
Artificial Analysis Intelligence Index 是另一个综合指标,汇总多种由 Artificial Analysis 运行的测试。它不是 Meta 的内部 PSI(Personal Superintelligence Index),也不等于个人对话偏好、每次调用成本或某个应用的完成率。指数版本和榜单会更新,引用时要同时写版本与日期;可在 Artificial Analysis 的 Meta 模型榜单查看独立评分。
为什么不能只看一张榜单?
- 分数定义不同。HealthBench Pro 使用评分量表;DeepSWE 报告 pass@1;Artificial Analysis Index 是综合分。把原始数字放在同一“分数”排序中会误导。
- 运行配置不同。Meta 说明 Muse 模型和官方横向表中的对手使用 max reasoning effort,但一些外部榜单保留各自的 agent、工具或 harness。
- 来源并不完全独立。Model card 在可取得时采用第三方或厂商报告分数;其对专有竞争模型的内部运行也被说明为 best-effort,提示词、工具和运行环境未必充分调优。
- 编码结果不是交付保证。模型卡提醒表现会受提示词、工具、量化、服务配置和 agent harness 影响;具体代码库、验收测试和重试也改变最终结果。
怎样自己比较 Muse Wonder、GPT 和 Claude?
如果你要选模型做实际工作,建一小组带有明确通过条件的真实任务:保留同一输入、工具权限、上下文、输出限制和验收测试。逐项记录首轮通过率、重试次数、完整任务费用与耗时,再比较可接受成品,而不是只比一次回答或 token 单价。若通过 API 测试,先确认同一模型变体、reasoning effort、服务层级及计费配置。
Meta 官方公布 Muse Wonder 的 API 标准价格为每百万输入 tokens $4、缓存输入 $0.20、输出 $20;Muse Wonder Full 列为 Muse Code Power 与 Maximum 订阅内的模型。费用模式不同,benchmark 分数也不包含你的任务重试成本。参阅Muse Wonder subscription、计划价格与使用额度。
Muse Wonder benchmark 常见问题
Muse Wonder Full 一定比 GPT-6 Astra 或 Claude Opus 5.5 更好吗?
不能从这张表推出通用结论。Muse Wonder Full 在 DeepSWE 1.1 得分较高,但 Meta 的 HealthBench Pro 和 Artificial Analysis Index 行中 Opus 5.5 得分更高。
Meta 的 benchmark 是独立评测吗?
不是所有分数都由 Meta 独立重跑。Model card 标注了部分第三方、供应商或模型提供方结果,并说明专有对手的内部测试是 best-effort。引用具体数字时应查看该 benchmark 对应的方法和数据来源。
Meta 表里的 56 和 52 是什么?
这是 Meta 页面列出的 Artificial Analysis Intelligence Index 值:Muse Wonder Full 为 56,Muse Wonder 为 52。它们不是模型卡里的 Personal Superintelligence Index,也不是百分比。
怎样判断这些分数对我的项目有用?
用自己的代码库或工作样本、相同工具和明确验收条件测试目标模型,并记录整项工作的成本、失败和重试。公开 benchmark 适合筛选要测试的模型,不替代项目级验证。
来源与方法:Meta Muse Wonder 模型与 benchmark 页面、官方 Muse Wonder model card、Meta 发布说明。本文是对公开测试资料的整理,不是我们自行运行 GPT、Claude 和 Muse Wonder 得出的实测排名。