机器之机杼剪部

这几天，Anthropic 的最新模子 Claude Fable 5 发布之后，在 AI 圈激起了不小的飘浮。

今天一早，大模子评测平台 Arena 放出了智能体基准测试（Agent Arena）的得益：Fable 5（High）名秩序一，OpenAI 的 GPT-5.5（xHigh）屈居第二。另外，在「说明顺利率」和「可换取性」等两形貌标上，Fable 5（High）也稳压 GPT-5.5（xHigh）。

从 Agent Arena 的跑分来看，Fable 5 的性能强悍可见一斑。该基准通过数百万个真实寰球的长周期智能体任务来评估模子，需要调用网页搜索、文献系统、末端等器具，完成写代码、制作幻灯片、网页商量、构建哄骗以及分析文档等复杂责任流。

但与此同期，在另一个智能体基准测试中，Fable 5 败给了一个多月前发布的 GPT-5.5。

它是加州大学伯克利分校宋晓东（Dawn Song）培植团队开垦的 ALE，全称为 Agents' Last Exam（智能体的临了2026世界杯赛事竞猜最新版V2026.FIFA检修），用来算计 AI 智能体是否确实大概在鄙俚的真实寰球范畴中完成具有经济价值的责任。

ALE 测试涵盖 55 个非膂力作事，包含 1500 + 项任务，由来自 100 + 机构的 300+ 位群众孝敬，遮蔽科学、工程、医学、法律、金融、培植等多个范畴。另外，该基准提供圆善的 GUI + CLI 环境，并基于最终效果进行可考证评估。

在 ALE 中，团队评测了 Fable 5、GPT-5.5、Composer 2.5 以过甚他前沿 Agent 系统。效果既令东说念主印象深切，也富余让东说念主从容：

云开体育2026世界杯中国官网入口

目下的 Agent 照旧大概惩办颠倒一部分专科任务，但当咱们看向最难的那一类任务，也便是那些需要抓续推理、深厚范畴常识，以及长周期可靠施行的任务时，它们距离东说念主类水平仍然很远。「灵验的 Agent 期间照旧到来，但确切能胜任责任的 Agent 期间，还莫得。」

团队但愿 ALE 大概成为一个新的参照系，匡助行业开垦出大概在鄙俚范畴中踏实完成经济价值责任的 Agent。

针对 Fable 5，ALE 的以下几点测试效果值得咱们眷注：

一是，在举座榜单中，GPT-5.5 凭借 24.0% 的通过率居于榜首，突出了 Fable 5 的 22.0%；余下规律为 composer-2.5、Gemini-3.1-pro-preview、Deepseek-v4-pro 和 Qwen-3.7-Max。

二是，资本各异深广。天然 Fable 5、GPT-5.5 和 Composer 2.5 的举座进展处在消亡梯队，但每项任务的资本各异相当显然：Fable 5 平均每题糜费约 $15.70，GPT-5.5 仅 $3.80，Composer 2.5 为 $1.33。

也便是说，在性能左近的情况下，Fable 5 每完成一项任务的资本节略是其他模子的 4 到 12 倍。

三是，最难一档一扫而空。在最高难度「Last-Exam」档位，包括 Fable 5 在内的扫数前沿 agent 通过率为 0%。

另外，ALE 中还有一个仅接济大叫行环境的子集 ——ALE-CLI。

比拟 Terminal-Bench 和 SWE-bench-Pro，它的遮蔽范围更广、任务周期更长，难度也显然更高：

遮蔽更广：ALE-CLI 的任务遮蔽 ALE 55 个行业子范畴中的 40 个；比拟之下，Terminal-Bench 只遮蔽 6 个，SWE-bench-Pro 只遮蔽 5 个。

周期更长：东说念主类完成这些任务时常需要数小时到数周，而不是几分钟到几天。

难度更高：进展最好的 Agent 通过率也唯有 25.2%；比拟之下，Terminal-Bench 上的最好通过率为 82.0%，SWE-bench-Pro 为 59.1%。

这阐发，Agent 离确切熟谙还有很长的路要走，也还有很大的普及空间。

在谈到为什么 ALE 的效果和一些其他基准不太一样，尤其是 Fable 5？宋晓东示意，原因很圣洁：不存在一个在扫数场景下齐最强的 Agent。包括 Fable 5 在内，每个前沿模子齐有我方擅长的范畴，也齐有进展勉力的范畴。

总分会把 55 个作事、1500 多个任务的效果平均到统共，因此好多模子的分数会挤在左近区间。但确切蹙迫的，不是平中分。确切有价值的信号在于：Agent 在那边顺利，在那边失败，以及这些成败模式何如随范畴而变化。通常的任务，2026世界杯赛事竞猜最新版V2026.FIFA不同模子失败的原因通常实足不同。

最常见的失败模式依然是一个熟悉的问题： Agent 还莫得确切考证我方的责任，就先晓谕任务完成。典型的完成文告通常是：「已完成，扫数查验齐通过了。」但内容输出可能困难必要文献、统计数目有误、遗漏要害字段，或者违背了任务阐发中明确写出的管理条目。

ALE 商量先容

ALE 是一个包含 1000 多个任求实例的基准测试，遮蔽 55 个子范畴和 13 个行业集群，由来自 100 + 机构的 300 + 位群众孝敬。

为了确保行业遮蔽富余鄙俚且具有代表性，群众照看人委员会会梳理各个范畴的责任流图景，并基于 O*NET / SOC 2018 作事分类体系，识别具有经济意旨的责任流类型。

ALE 任务责任流来自真实的专科现实。它并不是诬捏联想合成场景，而是由群众提供他们照旧完成过的真实形貌。这些形貌在被纳入基准之前，还要经过多轮质料适度，包括初步审核、工程师试初始，以及群众委员会的最终同业评审。

大大批任务齐要求智能体使用规划机，并在 GUI 交互和 CLI 操作之间往复切换。GUI 交互包括桌面哄骗、浏览器和特定范畴软件；CLI 操作包括 shell 剧本、代码施行和文献处理。

这意味着，ALE 要求智能体同期具备多种能力，而这些能力在现存基准中通常是被分开测试的。

ALE 的标的评测对象是 GCUA（Generalist Computer-Use Agent）智能体，举例 Claude Code 或 Codex。这类智能体大概在消亡个行为轮回中集中视觉感知、代码施行、器具使用和长周期规划。按照联想，ALE 的任务形态遮蔽范围要大于仅测试 GUI 的基准，举例 OSWorld，也大于仅测试 CLI 的基准，举例 Terminal-Bench 。

在职务汇集上，ALE 不是松驰汇集一些任务来锻练 AI，而是要求任务必须欣喜三个条目：

代表性。责任流应当顺应真实的专科现实，并使用范畴群众内容会使用的软件。举例，建筑范畴群众在把 2D 蓝图诊疗为 3D 模子时，时常会使用 SolidWorks 或 Rhino，而不是 AutoCAD。

复杂性。一项任务应当是端到端的请托物，需要群众干与颠倒时分完成，而不仅仅几个圣洁的 UI 操作。要害分别在于：这是一个责任流，如故一个单一算作。

可考证性。输出效果应当大概接管确定性查验，或者大概按照与可不雅察产品绑定的明确评分坚信进行评估。最理念念的情况是，请托物具有确定性，不错顺利与参考输出进行比较。即使无法作念到精准匹配，判断也应当大概复原为对某个可测量产品的评估。

另外，ALE 中的任务不是由平方众包工东说念主来提供；而是来自范畴专科东说念主士的真实日常责任，并经过严格筛选，以确保真实性、复杂性和本领可施行性，共包含五说念关卡。

群众开头。商量者通过由行业从业者构成的照看人委员会招募范畴群众，确保任务大概遮蔽统共分类体系。

任务提交。群众通过成心的网页进口提交任务提案。他们会上传我方曩昔完成过的形貌，这些形貌时常需要数天致使数周的专科责任。AI 辅助器具会匡助完善每个提案，直到五个中枢构成部分被圆善阐发：天然谈话刻画、输入文献、标的软件、预期请托物和评测法子。

初步审核。提交内容会按照类似学术会议审稿的款式进行筛选，给出大修 / 小修、边际接纳、接纳、强接纳等决定；需要修改的任务会复返给群众不竭完善。

任求已毕。通过审核的任务法子会被滚动为可初始的资源、成立好的软件容器，以及编码后的评测逻辑。工程师会进行试初始；一朝发现缺口，任务会被自动复返给群众补充。

最终质检。临了由群众委员会进行同业评审，核查参考输出是否正确，评测领域是否校准合理，既弗成窄到险些不可能通过，也弗成宽到邪恶宽松，同期说明任务高下文是否充分。

值得一提的是基准羞辱问题，这种羞辱可能来自预老师数据类似，也可能来自针对具体任务的优化。为此，ALE 只公开 1490 个任求实例中的 150 个，约占 10%；其余任务保留在迥殊池中。

在具体评测经由上，ALE 将一个基准实例拆分为三个互相解耦的组件，这些组件通过界说清亮的接口进行交互。

临了，团队但愿 Agents' Last Exam（ALE）大概成为一个新的路标和北极星，指引行业开垦出大概在鄙俚范畴中可靠完成经济价值责任的智能体。