> ## Documentation Index > Fetch the complete documentation index at: https://docs.comet.rpamis.com/llms.txt > Use this file to discover all available pages before exploring further. # Native 0.5.3 与 Native 0.4.0-rc.1 实测对比 > 在相同的任务、重复次数与 DeepSeek 配置下，两个 Native 版本均保持 100% 通过率；其中 0.5.3 的平均累计 Agent 执行耗时比 0.4.0-rc.1 降低了 32.1%。 目录
  1. [实验设置](#%E5%AE%9E%E9%AA%8C%E8%AE%BE%E7%BD%AE)
  2. [通过率与重复运行稳定性](#%E9%80%9A%E8%BF%87%E7%8E%87%E4%B8%8E%E9%87%8D%E5%A4%8D%E8%BF%90%E8%A1%8C%E7%A8%B3%E5%AE%9A%E6%80%A7)
  3. [全部通过时的执行开销](#%E5%85%A8%E9%83%A8%E9%80%9A%E8%BF%87%E6%97%B6%E7%9A%84%E6%89%A7%E8%A1%8C%E5%BC%80%E9%94%80)
  4. [结果适用范围](#%E7%BB%93%E6%9E%9C%E9%80%82%E7%94%A8%E8%8C%83%E5%9B%B4)
  5. [完整 HTML 报告](#%E5%AE%8C%E6%95%B4-html-%E6%8A%A5%E5%91%8A)
[← 评估实验](https://docs.comet.rpamis.com/zh/tech-blog.md#eval-experiments) 2026-11-12 评估实验 # Native 0.5.3 与 Native 0.4.0-rc.1 实测对比 在相同的任务、重复次数与 DeepSeek 配置下，两个 Native 版本均保持 100% 通过率；其中 0.5.3 的平均累计 Agent 执行耗时比 0.4.0-rc.1 降低了 32.1%。 作者：Comet 团队 在这批相同任务的实测中，Native 0.5.3 与 Native 0.4.0-rc.1 均实现 48/48 严格通过（通过率 100%）。其中，0.5.3 的平均累计 Agent 执行耗时为 159.8 秒，相比 0.4.0-rc.1 的 235.2 秒降低了 32.1%。 两组对照均采用 Native 工作流。0.4.0-rc.1 采用已发布的固定版本包，保留了该版本自身的确认、验证与归档流程。 ## 实验设置 | 项目 | 两组共同设置 | | - | - | | 任务集 | 相同的 16 个 Comet 工作流任务 | | 重复次数 | 每题 3 次，每组 48 次运行，共计 96 份模型评分 | | Agent | Claude Code 2.1.318 | | 模型 | DeepSeek-V4.1-Flash-1017，调用别名 `deepseek-flash[1M]` | | 业务验证 | 相同的任务定义、原始需求指令、测试数据与业务断言 | | 流程验证 | 分别遵循对应版本 Native 的协议契约 | 测试日志中实际记录了 `deepseek-flash[1m]` 与 `deepseek-v4-flash` 两种标签。报告如实保留了这两种标签，未将它们合并统计。 ## 通过率与重复运行稳定性 判定严格通过必须同时满足两项要求：业务功能检查通过，且符合对应版本 Native 的工作流规范。 | 指标 | Native 0.5.3 | Native 0.4.0-rc.1 | | - | -: | -: | | 严格 pass\@1 | 48/48，100% | 48/48，100% | | pass\@3 | 16/16，100% | 16/16，100% | | pass^3 | 16/16，100% | 16/16，100% | | 业务检查通过 | 48/48 | 48/48 | `pass@3` 表示每道题目尝试 3 次中至少成功 1 次，反映解决问题的能力覆盖；`pass^3` 表示 3 次尝试全部成功，反映重复执行的稳定性。本轮测试中两个版本在两项指标上均达到 100%，表现持平。 ## 全部通过时的执行开销 以下统计基于两组均严格通过的全部 48 对匹配样本。执行耗时统计包含模型调用、工具执行与断点续行时间，不包含容器镜像构建与准备耗时。 | 每次任务的平均值 | Native 0.5.3 | Native 0.4.0-rc.1 | 0.5.3 相对变化 | | - | -: | -: | -: | | 累计 Agent 执行耗时 | 159.8 秒 | 235.2 秒 | −32.1% | | 工具调用 | 53.44 | 86.54 | −38.3% | | 可观测 Token 总量，含缓存读取 | 2,314,560 | 2,633,238 | −12.1% | | 模型启动 / 恢复次数 | 2.96 | 2.71 | +9.2% | | 非缓存输入 Token | 66,456 | 63,978 | +3.9% | 在保持全数通过的前提下，0.5.3 在执行效率上有显著改善：累计耗时下降 32.1%，工具调用减少 38.3%，可观测 Token 总量降低 12.1%；同时，模型启动 / 恢复次数与非缓存输入 Token 略有上升。下方完整报告给出了详细数据。 ## 结果适用范围 两组测试在不同时间段运行，模型线上服务的负载波动未作严格控制，因此不能将所有耗时降幅全部归因于代码特性的变动。评测结论仅对本批固定任务集负责。 Token 统计仅涵盖主 Agent 调用记录中可观测到的部分，未包含独立子 Agent 的完整开销。报告中估算的费用来自 CLI 预估，不作为实际账单依据。 对于模型启动前的环境准备异常，未将其视作模型答题错误；对应位置已按既定方案重新补齐，且未重复计算有效得分。报告附录中保留的 MiMo 历史基线仅供背景参考，不与本轮 DeepSeek 样本混合对比。 ## 完整 HTML 报告 下方报告完整呈现了逐题结果矩阵、配对效率、上下文峰值、执行批次及评测边界说明。点击报告中的来源链接可在新标签页中打开。 Native 0.5.3 与 Native 0.4.0-rc.1 完整评估报告 [查看逐样本数据](https://github.com/rpamis/comet/blob/0f6877fd6245cbd62a2cd783abca0c20403d5931/docs/research/2026-11-11-native-053-vs-040/comparison-data.json) · [查看实验执行记录](https://github.com/rpamis/comet/blob/0f6877fd6245cbd62a2cd783abca0c20403d5931/docs/research/2026-11-11-native-053-vs-040/execution-record.zh.md) 相关实验：[Native 0.5.3 与原生 Goal 实测对比](https://docs.comet.rpamis.com/zh/eval/comet-native-053-vs-goal-experiment.md)。 [← 返回评估实验](https://docs.comet.rpamis.com/zh/tech-blog.md#eval-experiments) [在评估文档中阅读 ↗](https://docs.comet.rpamis.com/zh/eval/comet-native-053-vs-040-rc1-experiment.md) This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.