comet eval run --html 会生成可浏览报告。用户不需要逐行读底层日志,先看结果、归因和产物。
报告位置
CLI 输出会包含 experiment id 和 report path。常见位置:优先看什么
- 总体是否通过。
- 失败归因。
- 缺失的 expected artifacts。
- token、cost、duration 是否异常。
- 是否和当前 Skill 目标相关。
如何决定下一步
| 报告信号 | 下一步 |
|---|---|
| manifest 读取失败 | 修 comet/eval.yaml 或路径 |
| harness 失败 | 检查依赖、Docker、网络或本地环境 |
| workflow 失败 | 回到 /comet-any 优化 Skill |
| task 失败 | 检查 eval 任务定义和 fixture |
| model 不稳定 | 重跑或降低对非确定行为的依赖 |
报告如何进入发布
不要手工编辑 Bundle 状态。让/comet-any 或 Bundle 后端记录 eval 结果,并让 comet publish status 读取 readiness。
