Skip to main content
这是进阶内容,主要面向需要调试 Skill 运行(Engine Run)的进阶用户。如果你只做 comet eval(创建期评估),可以跳过本页。
本页是源码/维护者进阶内容,需要理解 Comet Runtime 和源码目录。普通用户只运行 comet eval,不需要 clone Comet;请从快速上手开始。
Comet 有两类 eval。名字相似,但用途不同,不要混用

对比

小鱼把 comet eval 的发布证据和 comet skill check 的 Run 完成度检查分到两张工作台

comet eval 产出发布证据;comet skill check 只检查某次 Skill 运行是否完整

为什么有两类

comet eval 面向”这个 Skill 作为产品能力能不能通过评估”,它通过共享 eval harness 执行真实模型任务,产出发布前证据。 comet skill check 面向”这次 Skill 运行是否完整”,它只检查当前运行是否满足 comet/checks.yaml 里的 runtime checks,不执行模型任务,也不产出发布证据 两者服务于不同阶段:comet skill check 在 Skill 运行中检查完成度,comet eval 在发布前验证产品能力。

runtime check 的检查格式

runtime check 定义在 Skill 包的 comet/checks.yaml(或 comet/evals.yaml,两者二选一,不能同时存在)。/comet-any 生成物默认用 checks.yaml
每个 runtime check 的字段:

两种检查类型

三个作用域

comet skill check 示例

runtime check 通常配合 comet skill runcomet skill continue 使用:
也可以绑定 OpenSpec change 目录:
Run 可以绑定 --change 目录,也可以用 --run-id 放到 .comet/runs/<run-id> 下。run 支持 deterministic Skills;adaptive 执行需要 Agent 候选。

什么时候需要 runtime check

Skill 运行(Engine Run)通常出现在这些场景:
  • Skill 有多步骤状态。
  • 需要 pending action 和 resume。
  • 需要检查 artifact 是否存在。
  • 需要 guardrails 或恢复语义。
  • Skill 是 Engine-enabled(/comet-any 为多步骤或高风险生成物生成的 Skill 默认开启 Engine)。
Engine-enabled 生成物会写入 comet/checks.yamlcomet/eval.yaml
  • comet/checks.yaml:runtime checks,由 comet skill check 使用。
  • comet/eval.yaml:eval manifest,由 comet eval 使用。

文本模式的恢复提示

comet skill 在文本模式下会直接打印 Pending actionNext: 恢复提示,让你不需要在暂停的 Run 或失败的 eval 后自己猜下一步。 例如 run 输出:
eval 失败时会提示:
每个 PASS/FAIL 会带 evidence,例如 PASS completed: state.status = completedFAIL report-exists: artifact report(missing) not found

怎么选

  • 你的问题是”这个 Skill 作为产品能力能不能通过评估”:
  • 你的问题是”这次 Skill 运行是否缺 artifact 或状态”:
准备发布 Skill 时,不要只跑 comet skill check。发布 readiness 需要通用 comet eval 证据。comet skill check 只检查某次 Skill 运行的完成度,不是通用 Skill 评估。

下一步

最后修改于 2026年8月13日