Skip to main content
这是进阶内容,主要面向需要调试 Skill 运行(Engine Run)的进阶用户。如果你只做 comet eval(创建期评估),可以跳过本页。
本页是源码/维护者进阶内容,需要理解 Comet Runtime 和源码目录。普通用户只运行 comet eval,不需要 clone Comet。请从快速上手开始。
Comet 提供创建期评估和运行期检查。两者名称相近,但对象、输入和输出不同。

对比

小鱼把 comet eval 的发布证据和 comet skill check 的 Run 完成度检查分到两张工作台

comet eval 产出发布证据。comet skill check 只检查某次 Skill 运行是否完整

使用阶段

comet eval 评估 Skill 包或 manifest。它通过共享 eval harness 执行模型任务,生成发布前证据。 comet skill check 检查某次 Skill 运行是否满足 comet/checks.yaml 中的 runtime checks。它不执行模型任务,也不生成发布证据。 两者服务于不同阶段:comet skill check 在 Skill 运行中检查完成度,comet eval 在发布前验证产品能力。

runtime check 的检查格式

runtime check 定义在 Skill 包的 comet/checks.yaml(或 comet/evals.yaml,两者二选一,不能同时存在)。/comet-any 生成物默认用 checks.yaml。
每个 runtime check 的字段:

两种检查类型

三个作用域

comet skill check 示例

runtime check 一般配合 comet skill run 和 comet skill continue 使用:
也可以绑定 OpenSpec change 目录:
Run 可以绑定 --change 目录,也可以用 --run-id 放到 .comet/runs/<run-id> 下。run 支持 deterministic Skills。adaptive 模式的动作由外部 Agent 提议。

什么时候需要 runtime check

Skill 运行(Engine Run)常见于这些场景:
  • Skill 有多步骤状态。
  • 需要 pending action 和 resume。
  • 需要检查 artifact 是否存在。
  • 需要 guardrails 或恢复语义。
  • Skill 是 Engine-enabled(/comet-any 为多步骤或高风险生成物生成的 Skill 默认开启 Engine)。
Engine-enabled 生成物会写入 comet/checks.yaml 和 comet/eval.yaml:
  • comet/checks.yaml:runtime checks,由 comet skill check 使用。
  • comet/eval.yaml:eval manifest,由 comet eval 使用。

文本模式的恢复提示

comet skill 在文本模式下会打印 Pending action 和 Next:,说明 Run 暂停或 eval 失败后的下一步。 例如 run 输出:
eval 失败时会提示:
每个 PASS/FAIL 会带 evidence,例如 PASS completed: state.status = completed 或 FAIL report-exists: artifact report(missing) not found。

怎么选

  • 你的问题是”这个 Skill 作为产品能力能不能通过评估”:
  • 你的问题是”这次 Skill 运行是否缺 artifact 或状态”:
准备发布 Skill 时,不要只跑 comet skill check。发布 readiness 需要通用 comet eval 证据。comet skill check 只检查某次 Skill 运行的完成度,不是通用 Skill 评估。

下一步

最后修改于 2026年9月4日