模型能力边界：从公开评测到任务责任

当前 AI 已经值得用于实际工作，但“能不能放手让它做”，应由任务是否清楚、结果是否能检查、错误是否能撤回决定，而不是由模型排名决定。

如果只记住三件事：

让 AI 先做明确、可检查的工作。 整理资料、生成初稿、修复能检验对错的代码，可以作为优先试用场景。
长任务可以委派，但要分段验收。 “完成一份方案”与“连续执行方案并承担后果”，不是同一种能力。
挑选模型时看具体任务，不追总冠军。 最强、最便宜、最适合你的材料和流程，往往不是同一个选项。

这里的三条是本文依据公开评测提出的使用建议，不是对所有产品的性能保证。下文先解释能力边界，再给模型画像；八类评测的细节放在证据与行动篇，供需要核对证据的读者继续阅读。

先认识三个词。 大语言模型（LLM）负责理解、生成内容和推理；智能体（Agent）是让模型调用搜索、文件、代码等工具，连续执行任务的系统；基准评测（benchmark）是一套固定考题，用来比较特定能力。比如，“告诉我怎么做报表”主要考模型，“读取文件、核算、生成报表并检查”则在考 Agent。

资料截止：2026 年 9 月 4 日。 本文重点覆盖知识工作、编码与工具型 Agent，不据此判断所有视觉、语音或机器人能力。各项成绩保留自己的评测日期，不把早期论文结果当成最新模型的能力上限。

能力边界：能完成任务，不等于能承担整项责任

先从自己的工作出发，而不是从榜单名称出发。下面是基于本文证据整理的使用边界，不是统一条件下测出的能力等级。

你希望 AI 做什么	当前证据告诉我们什么	建议怎样使用
理解资料、写作和分析	已能在专业交付物评测中完成复杂输出；内容分析与呈现质量并不总是同步提高	让它先做初稿，人核对关键事实与结论
回答知识问题、进行推理	更强模型仍可能在不确定时给出错误答案	要求附来源；重要结论独立核查
阅读长文档、图片、音视频	部分模型已支持多种输入，但“放得进去”不等于“全部理解正确”	用自己的长文件、图表和跨页问题测试
修改代码、运行工具	有真实项目的代码和操作环境作为评测，但成绩依赖任务和运行方式	提供明确目标，用程序自动检查功能，保留人工验收
执行客服、查询和业务流程	查到信息、遵守规则、正确操作必须同时成立	先开放查询与草拟，再逐步开放写入
持续推进模糊、多阶段项目	软件演化与质量判断评测仍暴露明显困难	拆成里程碑；让人决定需求、权衡与高风险动作

前两行有一个值得注意的反差：Artificial Analysis——一家直接运行模型评测的独立机构——在 9 月 1 日的报告中发现，Claude Fable 5.1 的专业工作表现很强，但知识问答准确率提高的同时，也更倾向于尝试回答不会的问题。回答更多、表达更完整，不必然意味着更知道自己的边界。评测原文

长文档也类似。Google 为 Gemini 3.8 Flash 发布的模型卡——即说明模型能力与限制的文档——确认它能接收文字、图片、音频和视频；但这是输入能力说明，不是“任何材料都能读懂”的承诺。文档也保留了生成错误信息等限制。官方模型卡

因此，我不会把 AI 笼统称为“初级工程师”或“专家顾问”。它的能力并不沿着人的职级整齐分布：某些难题做得很好，某个容易被人注意的约束却可能漏掉。

为什么还要验收：功能、流程与运行条件都影响结果

功能能运行，交付质量仍可能不合格

Senior SWE-Bench 是一套软件工程评测，不只检查功能是否正确，还检查改动是否符合项目规范、是否引入多余代码等质量要求。

官方 7 月 30 日更新中，Claude Opus 5 的功能正确通过率为 62.1%，同时满足质量要求的通过率为 34.7%。这两个结果来自同一模型、同一轮评测，比拿不同模型在两张考卷上的分数相减更有解释力。官方更新

它说明的不是“AI 只能做对三分之一工作”，而是：验收标准从“能运行”提高到“适合留下来维护”，会筛掉一批看似完成的结果。 这仍只是该任务集的结论，不能直接当作企业项目成功率。

查到正确答案，也不等于执行正确

τ-bench（读作 tau-bench）模拟需要对话、查询资料、使用工具并遵守业务政策的工作。它的 Banking 版本专门测试银行业务场景。

截至本文核验时，官方页列出的领先成绩是 Qwen 3.8 Max 的 55.2% 单次任务成功率。这不是银行知识考试分数，而是整个规定流程完成的比例。官方评测页

可以用一个假设的退款流程理解这个区别：AI 找到了订单，也知道退款规则，但如果漏掉身份核验就执行退款，文字回答再流畅，任务仍然失败。这个例子用于解释风险，不是该评测中的实测案例。

同一个模型，换了运行条件也可能换一个分数

模型外面还有一套执行框架，常被称为 Harness：它负责提供工具、保存任务状态、安排重试和检查结果。比较 Agent，实际常常是在比较“模型加执行系统”。

甚至考题本身也会影响结果。Terminal-Bench 测试 AI 通过文字命令操作电脑、完成实际任务。修订 2.0 版的题目后，同样的 Opus 4.6 + Claude Code 组合从 58.0% 变成 70.1%。这不是更换模型带来的提升。2.1 版修订说明

所以看一张成绩单，至少问三件事：考的是什么任务，用了什么系统，在哪个版本和条件下运行。 分数接近时，还应看多次运行的波动；不能把任何小分差都认定为领先，也不能一概认定为噪音。

模型怎么选：先看优势与代价，再看名字

下面不是总排名，而是供试用时参考的几种能力画像。这里的“推理档位”指允许模型投入多少思考与计算；同一模型的 high、xhigh、max 等设置可能产生不同结果，不同厂商的同名档位也不等价。

模型与评测时间	值得关注的表现	不能忽略的代价或边界
Claude Fable 5.1／Opus 5，9 月 1 日	Fable 5.1 在综合评测中领先；部分专业交付物评测与 Opus 5 接近	Fable 5.1 高档位更贵；被测服务启用了安全回退，部分请求转给其他 Claude 模型。来源
GPT-6 Astra，9 月 3 日	在 Codex 执行系统中的编码任务表现与效率改善	综合能力没有同等幅度跃升，部分长文档与知识工作项目反而回退；不能仅凭代际名称升级。来源
Muse Spark 1.3，9 月 2 日	可用的 xhigh 档位兼顾较强综合成绩与较低任务成本	更高的 max 档位仍是有限预览；长文档推理并非全面提升。来源
Gemini 3.8 Flash，9 月 2 日	综合表现与任务成本的组合有竞争力，支持多种材料输入	相比上一版，单题成本仍上升；较低的文字处理单价不保证总账单下降。来源
Qwen 3.8 Max，9 月 4 日核验	在 τ³ Banking 官方榜的单次完成率领先	这支持把它列入业务流程候选，不支持推断它在所有编码、写作和视觉任务上领先。来源

还应给开放模型留位置。开放权重指核心模型参数可以获取，不自动等于软件、数据和使用许可都完全开放。Senior SWE-Bench 的 7 月更新中，Kimi K3 与 MiniMax M3 呈现了较低输出费用与较低通过率之间的取舍；它们值得进入成本敏感任务的候选集，但这组旧成绩不能代替当前版本复测。官方对照

这些证据的共同含义是：前沿模型的优势开始分化，不是简单地一代全面替代一代。 表中的独立评测、官方公共榜也不是同一套考试，不能把各行成绩拼成总分。