/goal 模式。评测分别统计了原题满分、Agent 正常结束和 Native 流程合规三项指标;若任务超时但现场留存的代码通过了测试,依然计入原题得分。
实验设置
Native 组统一使用 0.5.3 CLI 版本。两组实验保持相同的模型路由配置,具体模型标签与版本信息见文末 HTML 报告。
原题得分、满分率与重复运行稳定性
原题满分为 1.0 分(Reward 达到 1.0 判定为满分)。平均得分反映部分完成情况,满分率衡量完全通过的比例。pass@3 表示每个任务 3 次尝试中至少有 1 次拿到满分,pass^3 则表示 3 次尝试全部拿到满分。由于两个数据集的任务特征不同,评测分别列出指标,不混合汇总为单一分数。
以 Goal 在 SkillsBench 上的测试结果为例:虽然每道题目都至少拿到过一次满分(pass@3 为 100%),但没有任何一道题目能连续 3 次全部拿满分(pass^3 为 0%)。这说明模型具备完成任务的能力,但在多次重复运行时缺乏足够的稳定性。
每道题目在每种模式下展示 3 次运行记录。综合对比优先考察满分频次,其次比较题目平均分;个别因环境异常得 0 分的轮次,若后续补测得分更高则更新展示,并保留原始运行日志。需要说明的是,展示数据基于观测样本择优呈现,两组可选记录数量不同,不能视作严格等额预算下的随机对照实验。
两组数据集均按原题规则计分。满分率反映交付质量,3 次尝试中至少 1 次满分(pass@3)体现能力覆盖,3 次全部满分(pass^3)则体现重复执行的稳定性。
逐次得分
下表按第 1 至第 3 轮(r1、r2、r3)顺序列出各次运行得分。满分率为 0% 仅表示未达到 1.0 分,并不代表 3 轮得分均为 0。
在“时区偏移 LRU 缓存”一题中,官方评分器同时检查了
gettz 与 tzstr 的缓存逻辑,但题目说明仅明确要求支持 tzoffset 与容量调节。因此拿到部分分数并不意味着缓存功能未实现;评测严格遵循原题评分规则,未修改任何测试断言,也不将部分得分折算为满分。
代码满分与流程正常结束
全天车辆调度任务的单次超时限制为 3600 秒。在实际评测中,Native 出现 1 次超时,Goal 出现 2 次超时。超时中断时保存在工作区的代码通过了原题评分器,因此原题得分仍计入统计,但这并不代表任务正常执行结束。
在车辆调度任务的第 3 轮测试中,Native 编写的代码拿到了满分,但在执行归档前触发了超时。需要说明的是,Native 流程合规与原题测试满分是两套独立的评价标准:例如在 PDF 表单任务中,就出现过 Native 完整合规走完全部流程、但代码未能拿到原题满分的情况。

