模型选型：任务样本、重复运行与完整成本

知道模型擅长什么，只完成了静态判断。真正的产品和采购决策，还要把任务成功率、人工审查、速度与价格放回同一个交付过程。

下一阶段看什么：少看“能做”，多看“交付是否划算”

结合模型能力与评测证据，可以提出以下三个产品方向假设；它们仍需用业务任务验证。

第一，AI 会更善于检查和恢复，而不只是生成。 检查器，也叫 verifier，是用测试、数据对账等方式确认工作是否完成的机制。任务状态的保存与恢复，则让 AI 出错后能从合适的位置继续。判断进步时，应看它是否减少返工、是否更早发现错误，而不只看一次演示是否漂亮。

第二，系统会按任务调配模型，而非始终使用最贵档位。 这种按难度选择模型的方式叫“模型路由”。它的价值需要用总账验证：调用费用降低了多少，额外判断、切换和人工纠错又花掉多少。多模型协作是一个选项，不是天然优于单模型。

第三，客户会更关心合格结果的成本。 Token 是模型处理文字等内容的计量单位，不是工作成果。即使单价不变或降低，如果模型思考更久、重试更多，完成任务也可能更贵。Gemini 3.8 Flash 的独立评测就记录了单价不变、每题费用上升的情况。成本分析

这三个方向能否成为持续的商业价值，要看实际使用中的人工返工、稳定复用和付费意愿。本篇的公开评测不足以证明企业已经普遍获得回报，更不足以推出某个岗位何时消失。

更值得观察的临界点是：在某类任务上，AI 能否持续达到约定的验收标准，并让包含人工复核在内的总成本下降。

不必先学完所有评测。先选一组自己最近做过、能够判断对错的任务，让候选系统在相同资料和权限下完成，再回答三个问题：

例如，一份报表的验收条件应是“数据与原表一致、公式可复算、异常值有说明”，而不只是“生成了一个文件”。先让 AI 做只读分析和未发布草稿；确认效果之后，再开放范围有限、可撤销的操作。

以下八类评测用于支持前面的判断，不要求逐项记忆。它们考不同的能力，不能平均成“AI 总分”。

模型能力只是可委托范围的一部分，任务、环境和责任边界共同决定它能否进入生产。模型能力回答“理论上可能做到什么”；任务边界回答“什么算完成”；环境边界回答“系统如何获得事实并发现错误”；责任边界回答“谁允许行动、谁验收、谁在失败时接管”。缺少其中任何一条，委托都会退化成一次没有明确责任的尝试。

团队没有必要为所有任务选择同一个模型。不同任务可以按风险、复杂度、延迟和材料类型路由：低风险批处理使用便宜模型，高不确定规划使用强模型，敏感数据进入受控部署，需要浏览或代码执行的任务再选择相应 Harness。

但动态路由不意味着每次追逐最新榜单。更稳定的做法是维护一小组代表性任务，记录合格完成率、成本、P95 延迟、人工接管与失败类型。新模型进入时先跑这组样本，只有在某类任务上提供清晰增益，才修改默认路由。

模型选择因此从一次采购变成持续校准。更完整的路由、执行和评测方法，可继续阅读万级能力路由与评测体系设计。

八类评测分别测什么？有哪些关键限制？

评测	用普通话解释	读分数时要注意
LiveCodeBench	用持续收集的新编程题测代码生成、修正与推理	要标明题目时间范围；算法题成绩不等于真实项目维护能力
SWE-bench Verified	修复真实 Python 项目里的一个问题	500 个经人工筛选的任务；默认 Bash Only 视图固定执行环境，不要与任意自定义系统混排
SWE-bench Pro	处理更复杂、涉及更多文件的软件任务	包含公开、留出和商业私有部分；公开榜不代表私有部分，原始论文成绩也不是当前上限
SWE-EVO	按版本更新要求持续修改一个项目	v6 论文只有 48 个任务；用于观察长程困难，不用于给所有软件工作定级
Senior SWE-Bench	不只把功能做出来，还要符合项目质量标准	7 月更新采用多次运行与模型评委组合，默认计分排除 5 个任务；不能与 6 月旧榜直接计算进步幅度
Terminal-Bench 2.0／2.1	在命令行中操作软件、处理数据、生成可检查的结果	2.1 修订了 89 题中的 28 题；后续 4.0 也更改任务与资源，必须重新运行，不能跨版本混比
τ-bench	一边和用户沟通，一边查询资料、按规则操作系统	不同版本和业务领域要分开；本文 55.2% 来自 τ³ Banking 官方页，不是所有业务的平均值
GAIA	搜索、阅读文件并用工具解决多步骤问题	公开测试榜展示最佳一次运行；高分属于指定系统和任务集，不代表所有通用助手工作的可靠性

两个容易误读的数字。 SWE-EVO v6 报告 GPT-5.4 + OpenHands 为 25%，同时引用 GPT-5.2 在 Verified 的 72.8%。模型与考题不同，不能把差值解释为同一系统进入长任务后的能力损失。论文

GAIA 测试榜的领先分数达到 93.36%，对应具体的工具与模型组合，而且榜单采用最佳一次运行。这说明在那套任务上的高水平系统表现已经出现；没有单模型与多模型的受控实验，不能把高分全部归因于多模型协作，也不能外推成通用办公成功率。官方榜说明

至少一次成功与每次都成功分别用 pass@k 与 pass^k 表达；计算和反例统一见评测指标。机构的平均每题成本与企业的每个合格交付成本也不同，后者需计入失败、人工复核和返工。

模型适配与故障转移见模型网关，不要将能力目录的检索路由直接当成 Provider 路由实现。