跳转到主要内容
SDK 应用的评估目标是完整 application.json 包。它包含流程、入口、真实 Skill 依赖和验证条件,不能只用入口正文的评估结果代替整个应用的行为。

启动评估

准备 Eval Agent 环境,然后运行:
也可以在本地 Dashboard 的 评估 Eval 中选择应用目标、新建评估,检查本次 Agent、模型和预算。Comet Any 的可选 Eval 会绑定已编译的实际版本。

固定与复用用例

自动生成并冻结 2–4 个用例。后续重试与应用修订复用原用例,让差异能对应到同一组输入。 完整流程的用户决定、拒绝、修订与恢复条件按实际用例执行。用例生成失败、输入无效或 Agent 平台执行失败会如实记录,不把未运行当成通过。

分开阅读三类证据

模型 Eval 展示实际覆盖到的步骤与路径。未执行的分支、外部操作或平台仍未覆盖;少量用例不能证明全部业务范围。

查看与重试

Dashboard 提供状态、阶段、用例、日志、报告及配置快照。可以停止自己启动的执行,使用原用例重试失败项,并将结果与兼容的基线比较。 从 Comet Any 打开关联 Eval 后,可返回原创作或应用运行的证据页。跳过模型 Eval 会明确记录,不影响必需的隔离产物验收。 凭据只来自当前执行环境或受管理的用户配置,不写入应用包、用例输入、报告或生成的 Agent 配置。

完整结果与失败重跑

业务用例失败与评测框架异常分别记录。初始化、清理或执行异常会使整轮结果不计为完成,即使用例已产生分数,也不能设为基线。失败重跑保留原用例身份,不覆盖原完整评估,也不能独立取得完整应用验收结论。见 报告与基线。
最后修改于 2026年10月22日