对比

comet eval 产出发布证据;comet skill check 只检查某次 Skill 运行是否完整
为什么有两类
comet eval 面向”这个 Skill 作为产品能力能不能通过评估”,它通过共享 eval harness 执行真实模型任务,产出发布前证据。
comet skill check 面向”这次 Skill 运行是否完整”,它只检查当前运行是否满足 comet/checks.yaml 里的 runtime checks,不执行模型任务,也不产出发布证据。
两者服务于不同阶段:comet skill check 在 Skill 运行中检查完成度,comet eval 在发布前验证产品能力。
runtime check 的检查格式
runtime check 定义在 Skill 包的comet/checks.yaml(或 comet/evals.yaml,两者二选一,不能同时存在)。/comet-any 生成物默认用 checks.yaml。
两种检查类型
三个作用域
comet skill check 示例
runtime check 通常配合comet skill run 和 comet skill continue 使用:
--change 目录,也可以用 --run-id 放到 .comet/runs/<run-id> 下。run 支持 deterministic Skills;adaptive 执行需要 Agent 候选。
什么时候需要 runtime check
Skill 运行(Engine Run)通常出现在这些场景:- Skill 有多步骤状态。
- 需要 pending action 和 resume。
- 需要检查 artifact 是否存在。
- 需要 guardrails 或恢复语义。
- Skill 是 Engine-enabled(
/comet-any为多步骤或高风险生成物生成的 Skill 默认开启 Engine)。
comet/checks.yaml 和 comet/eval.yaml:
comet/checks.yaml:runtime checks,由comet skill check使用。comet/eval.yaml:eval manifest,由comet eval使用。
文本模式的恢复提示
comet skill 在文本模式下会直接打印 Pending action 和 Next: 恢复提示,让你不需要在暂停的 Run 或失败的 eval 后自己猜下一步。
例如 run 输出:
eval 失败时会提示:
PASS/FAIL 会带 evidence,例如 PASS completed: state.status = completed 或 FAIL report-exists: artifact report(missing) not found。
怎么选
-
你的问题是”这个 Skill 作为产品能力能不能通过评估”:
-
你的问题是”这次 Skill 运行是否缺 artifact 或状态”:
下一步
- comet skill 命令 — 完整 Skill 包和 Run 工具参考
- comet eval 命令 — 完整评估选项
- Skill 与 Engine(进阶) — 理解 Skill 运行(Engine Run)的语义、pending action、不可变快照

