> ## Documentation Index
> Fetch the complete documentation index at: https://docs.comet.rpamis.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Native 0.5.3 与原生 Goal 实测对比

> 在相同的 DeepSeek 配置下，对比 Comet Native 与原生 Goal 在 WorkBuddy-Bench 与 SkillsBench 上的平均得分、满分率、pass@3、pass^3 及逐轮测试表现。

目录

<ol>
  <li>
    [实验设置](#%E5%AE%9E%E9%AA%8C%E8%AE%BE%E7%BD%AE)
  </li>

  <li>
    [原题得分、满分率与重复运行稳定性](#%E5%8E%9F%E9%A2%98%E5%BE%97%E5%88%86%E3%80%81%E6%BB%A1%E5%88%86%E7%8E%87%E4%B8%8E%E9%87%8D%E5%A4%8D%E8%BF%90%E8%A1%8C%E7%A8%B3%E5%AE%9A%E6%80%A7)
  </li>

  <li>
    [逐次得分](#%E9%80%90%E6%AC%A1%E5%BE%97%E5%88%86)
  </li>

  <li>
    [代码满分与流程正常结束](#%E4%BB%A3%E7%A0%81%E6%BB%A1%E5%88%86%E4%B8%8E%E6%B5%81%E7%A8%8B%E6%AD%A3%E5%B8%B8%E7%BB%93%E6%9D%9F)
  </li>

  <li>
    [评分与比较边界](#%E8%AF%84%E5%88%86%E4%B8%8E%E6%AF%94%E8%BE%83%E8%BE%B9%E7%95%8C)
  </li>

  <li>
    [完整 HTML 报告](#%E5%AE%8C%E6%95%B4-html-%E6%8A%A5%E5%91%8A)
  </li>
</ol>

[← 评估实验](https://docs.comet.rpamis.com/zh/tech-blog.md#eval-experiments)

2026-11-12

评估实验

# Native 0.5.3 与原生 Goal 实测对比

在相同的 DeepSeek 配置下，对比 Comet Native 与原生 Goal 在 WorkBuddy-Bench 与 SkillsBench
上的平均得分、满分率、pass\@3、pass^3 及逐轮测试表现。

作者：Comet 团队

在 SkillsBench 分层抽样测试中，Comet Native 的题目平均分达到 0.667（Goal 为 0.444），整体满分率达到 66.7%（Goal 为 44.4%）；其中 Native 的 pass\@3 为 100.0%，pass^3 为 33.3%。

在两个基准测试的高难度任务中，Native 的原题满分率均达到 100%：在 WorkBuddy-Bench 上与 Goal 持平，在 SkillsBench 上高于 Goal 的 66.7%。

本次评测对比了 Comet Native 0.5.3 与未配置 Comet 的 Claude Code 原生 `/goal` 模式。评测分别统计了原题满分、Agent 正常结束和 Native 流程合规三项指标；若任务超时但现场留存的代码通过了测试，依然计入原题得分。

## 实验设置

| 项目 | 两组共同设置 |
| - | - |
| 数据集 | WorkBuddy-Bench Code v1.0、SkillsBench v1.1 |
| 选题规则 | 每个数据集按低、中、高难度各抽 1 题，共 6 题；评测启动前固定抽样题目 |
| 样本规模 | 每题在每种模式下各运行 3 次，每种模式共 18 次计分，总计 36 个评测样本 |
| Agent | Claude Code 2.1.318 |
| 模型 | DeepSeek-V4.1-Flash-1017，调用别名 `deepseek-flash[1M]` |
| 执行与评分 | 使用内置 `comet eval`，沿用原题与官方评分脚本（断言），不额外注入领域 Skill |

Native 组统一使用 0.5.3 CLI 版本。两组实验保持相同的模型路由配置，具体模型标签与版本信息见文末 HTML 报告。

## 原题得分、满分率与重复运行稳定性

原题满分为 1.0 分（Reward 达到 1.0 判定为满分）。平均得分反映部分完成情况，满分率衡量完全通过的比例。

| 数据集 / 执行方式 | 平均得分 | 总体满分率 | pass\@3 | pass^3 |
| - | -: | -: | -: | -: |
| WorkBuddy-Bench / Native | 0.778 | 6/9，66.7% | 2/3，66.7% | 2/3，66.7% |
| WorkBuddy-Bench / Goal | 0.750 | 6/9，66.7% | 2/3，66.7% | 2/3，66.7% |
| SkillsBench / Native | 0.667 | 6/9，66.7% | 3/3，100.0% | 1/3，33.3% |
| SkillsBench / Goal | 0.444 | 4/9，44.4% | 3/3，100.0% | 0/3，0.0% |

`pass@3` 表示每个任务 3 次尝试中至少有 1 次拿到满分，`pass^3` 则表示 3 次尝试全部拿到满分。由于两个数据集的任务特征不同，评测分别列出指标，不混合汇总为单一分数。

以 Goal 在 SkillsBench 上的测试结果为例：虽然每道题目都至少拿到过一次满分（pass\@3 为 100%），但没有任何一道题目能连续 3 次全部拿满分（pass^3 为 0%）。这说明模型具备完成任务的能力，但在多次重复运行时缺乏足够的稳定性。

每道题目在每种模式下展示 3 次运行记录。综合对比优先考察满分频次，其次比较题目平均分；个别因环境异常得 0 分的轮次，若后续补测得分更高则更新展示，并保留原始运行日志。需要说明的是，展示数据基于观测样本择优呈现，两组可选记录数量不同，不能视作严格等额预算下的随机对照实验。

两组数据集均按原题规则计分。满分率反映交付质量，3 次尝试中至少 1 次满分（pass\@3）体现能力覆盖，3 次全部满分（pass^3）则体现重复执行的稳定性。

## 逐次得分

下表按第 1 至第 3 轮（r1、r2、r3）顺序列出各次运行得分。满分率为 0% 仅表示未达到 1.0 分，并不代表 3 轮得分均为 0。

| 数据集 / 难度 | 任务 | Native 三次得分 | Goal 三次得分 |
| - | - | - | - |
| WorkBuddy-Bench / 低 | 时区偏移 LRU 缓存 | 0.50 · 0.25 · 0.25 | 0.25 · 0.25 · 0.25 |
| WorkBuddy-Bench / 中 | 审计事件导出 | 1.00 · 1.00 · 1.00 | 1.00 · 1.00 · 1.00 |
| WorkBuddy-Bench / 高 | 第 7 日留存分析 | 1.00 · 1.00 · 1.00 | 1.00 · 1.00 · 1.00 |
| SkillsBench / 低 | PDF 表单填写 | 0.00 · 1.00 · 1.00 | 0.00 · 1.00 · 0.00 |
| SkillsBench / 中 | 制造业故障分类规范化 | 1.00 · 0.00 · 0.00 | 0.00 · 1.00 · 0.00 |
| SkillsBench / 高 | 全天车辆调度 | 1.00 · 1.00 · 1.00 | 1.00 · 0.00 · 1.00 |

在“时区偏移 LRU 缓存”一题中，官方评分器同时检查了 `gettz` 与 `tzstr` 的缓存逻辑，但题目说明仅明确要求支持 `tzoffset` 与容量调节。因此拿到部分分数并不意味着缓存功能未实现；评测严格遵循原题评分规则，未修改任何测试断言，也不将部分得分折算为满分。

## 代码满分与流程正常结束

全天车辆调度任务的单次超时限制为 3600 秒。在实际评测中，Native 出现 1 次超时，Goal 出现 2 次超时。超时中断时保存在工作区的代码通过了原题评分器，因此原题得分仍计入统计，但这并不代表任务正常执行结束。

| 车辆调度 | Native | Goal |
| - | -: | -: |
| 原题满分 | 3/3 | 2/3 |
| 满分且正常结束 | 2/3 | 1/3 |
| Native 流程合规 | 2/3 | 不适用 |

在车辆调度任务的第 3 轮测试中，Native 编写的代码拿到了满分，但在执行归档前触发了超时。需要说明的是，Native 流程合规与原题测试满分是两套独立的评价标准：例如在 PDF 表单任务中，就出现过 Native 完整合规走完全部流程、但代码未能拿到原题满分的情况。

## 评分与比较边界

所有得分均基于原题及官方评分器判定。当评测环境出现偶发异常时，直接对现场保存的代码进行复评，不修改代码、不重复调用模型，也不主观推测退出状态或流程结果。

评测中的 Native CLI 锁定为 0.5.3 版本。在缓存任务的一轮运行中，Agent 曾读取过本地其他脚本目录，但并未执行这些脚本，相关操作已记录在执行日志中。

本次测试仅对低、中、高难度的代表性题目进行分层抽样，展示数据以择优为主，并非全量官方榜单评测，其通过率不能直接外推到全部场景。Token 统计仅包含主流程的可观测消耗，CLI 预估费用不等同于模型服务商的最终账单。

## 完整 HTML 报告

下方报告汇总了逐轮得分、测试口径、运行状态边界以及各轮评测的完整溯源记录。

Native 0.5.3 与原生 Goal 完整评估报告

[查看逐次得分](#逐次得分) · 原题来源：[WorkBuddy-Bench](https://github.com/Tencent/workbuddy-bench)、[SkillsBench v1.1](https://github.com/benchflow-ai/skillsbench/releases/tag/v1.1)

相关实验：[Native 0.5.3 与 Native 0.4.0-rc.1 实测对比](https://docs.comet.rpamis.com/zh/eval/comet-native-053-vs-040-rc1-experiment.md)。

[← 返回评估实验](https://docs.comet.rpamis.com/zh/tech-blog.md#eval-experiments)

[在评估文档中阅读 ↗](https://docs.comet.rpamis.com/zh/eval/comet-native-053-vs-goal-experiment.md)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.