> ## Documentation Index
> Fetch the complete documentation index at: https://docs.comet.rpamis.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Native Batch 与 Sequential 澄清模式评估

> 在同一 Native 任务上各运行 10 次，比较 Batch 与 Sequential 的 pass@3、交互轮次、工具调用、耗时和失败归因。

目录

<ol>
  <li>
    [核心数据](#%E6%A0%B8%E5%BF%83%E6%95%B0%E6%8D%AE)
  </li>

  <li>
    [如何理解结果](#%E5%A6%82%E4%BD%95%E7%90%86%E8%A7%A3%E7%BB%93%E6%9E%9C)
  </li>

  <li>
    [HTML 可视化报告](#html-%E5%8F%AF%E8%A7%86%E5%8C%96%E6%8A%A5%E5%91%8A)
  </li>

  <li>
    [实验口径](#%E5%AE%9E%E9%AA%8C%E5%8F%A3%E5%BE%84)
  </li>
</ol>

[← 评估实验](https://docs.comet.rpamis.com/zh/tech-blog.md#eval-experiments)

2026-07-22

评估实验

# Native Batch 与 Sequential 澄清模式评估

在同一 Native 任务上各运行 10 次，比较 Batch 与 Sequential 的
pass\@3、交互轮次、工具调用、耗时和失败归因。

作者：Comet 团队

> [!WARNING]
>
> 这是源码/维护者保存的历史实验报告，不是普通用户的运行教程。复现实验需要对应的 Comet
> 源码、任务和报告快照。普通用户请使用[快速上手](https://docs.comet.rpamis.com/zh/eval/quickstart.md)。

这次实验比较的是 Comet Native 的两种澄清模式：`batch` 一次提出所有独立问题，再单独确认双方理解一致。`sequential` 每次只解决一个决策。

我们选择同一个包含 3 个独立产品决策的 `wordcount-cli` 任务，在完全相同的模型、运行器、验证器和环境下分别重复 10 次。20 个样本全部完成且进入 analysis set。

## 核心数据

| 指标 | Batch | Sequential | Batch 差异 |
| - | -: | -: | -: |
| strict pass\@1 | 60%（6/10） | 70%（7/10） | -10 pp |
| pass\@3 | 96.7% | 99.2% | -2.5 pp |
| pass^3 | 0% | 0% | 持平 |
| 平均外层交互轮次 | 2.7 | 4.5 | -40.0% |
| 平均累计模型耗时 | 617 秒 | 712 秒 | -13.3% |

`pass@3` 使用 HumanEval 的至少一次成功估计：10 次观测中 Batch 成功 6 次，Sequential 成功 7 次。这里的 10 组是同一任务的重复运行，不是 10 个不同任务。

## 如何理解结果

Batch 明显减少了用户交互，并在双方都严格通过的 5 组配对中减少了 13.1% Agent 轮次、12.5% 工具调用、16.6% 累计模型耗时和 22.8% 总 Token。但这次样本中 Batch 的严格成功率低 10 个百分点，主要原因是 4 次运行把共同理解确认和首次批量回答合并成了一轮。

Sequential 的失败情况不同：一次多问了一个决策轮。另两次虽然完成了预期的 3 个决策点，但业务行为或归档产物不完整。因此轮次更少本身不能算优势，必须与业务结果、澄清协议和终态证据一起判断。

> [!WARNING]
>
> 这是一个任务、每种模式 10 次重复的小样本实验。它能揭示该任务上的交互成本与失败模式，不能单独证明
> Batch 或 Sequential 在所有任务上更可靠。

## HTML 可视化报告

下面的报告包含 pass\@k、配对效率、逐次运行矩阵、任务完成度和失败归因。

Comet Native Batch 与 Sequential 澄清模式评估

## 实验口径

* 实验标识：`experiment_20260722_002221`
* 模型：`mimo-v2.5-pro`
* 样本：Batch 10 次、Sequential 10 次，严格配对 10 组
* 数据质量：20/20 included，全部 high confidence，无剔除样本
* 耗时：累加每次运行所有顶层 result 事件，不包含 Docker 准备和 validator 时间
* 效率主视图：只统计同一 repetition 上双方都 strict pass 的 5 组

延伸阅读：[Native 与 0.4.0 Classic 真实评估](https://docs.comet.rpamis.com/zh/eval/comet-native-vs-040-experiment.md)与[评分指标与双 Agent 评测](https://docs.comet.rpamis.com/zh/eval/scoring.md)。

[← 返回评估实验](https://docs.comet.rpamis.com/zh/tech-blog.md#eval-experiments)

[在评估文档中阅读 ↗](https://docs.comet.rpamis.com/zh/eval/comet-native-clarification-experiment.md)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.