comet eval 是通用 Skill 评估入口。它封装 eval harness,让用户不需要手工切到 eval/ 或拼 pytest 参数。
子命令
| 命令 | 用途 |
|---|
collect | 只做发现和预检查,不执行模型或 Docker 任务 |
run | 执行本地 eval,可生成 HTML 报告 |
推荐路径
有 comet/eval.yaml 时:
comet eval collect --manifest ./generated-skill/comet/eval.yaml
comet eval run --manifest ./generated-skill/comet/eval.yaml --html
只有本地 Skill 目录时:
comet eval run --skill-path ./my-skill --skill-name my-skill --quick
常用选项
| 选项 | 说明 |
|---|
--project <dir> | 包含 eval/ 的仓库根目录 |
--manifest <path> | comet/eval.yaml 路径 |
--skill-path <path> | 本地 Skill 目录或 SKILL.md |
--skill-name <name> | --skill-path 的 Skill 名 |
--profile <name> | 覆盖 eval profile |
--task <task> | 指定 eval task |
--html | 生成 HTML 报告 |
--quick | 使用默认 quick smoke task |
发布 readiness 优先使用 manifest 路径。--skill-path --quick 适合早期冒烟。