> ## Documentation Index
> Fetch the complete documentation index at: https://docs.comet.rpamis.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 评估 SDK 应用

> 固定完整应用和用例，检查真实流程行为，并区分本地、模型和 Agent 平台证据。

SDK 应用的评估目标是完整 `application.json` 包。它包含流程、入口、真实 Skill 依赖和验证条件，不能只用入口正文的评估结果代替整个应用的行为。

## 启动评估

准备 [Eval Agent 环境](/zh/eval/agent-setup.md)，然后运行：

```bash theme={null}
comet eval ./weekly-report/application.json --agent codex --html
```

也可以在本地 Dashboard 的 **评估 Eval** 中选择应用目标、新建评估，检查本次 Agent、模型和预算。Comet Any 的可选 Eval 会绑定已编译的实际版本。

## 固定与复用用例

自动生成并冻结 2–4 个用例。后续重试与应用修订复用原用例，让差异能对应到同一组输入。

完整流程的用户决定、拒绝、修订与恢复条件按实际用例执行。用例生成失败、输入无效或 Agent 平台执行失败会如实记录，不把未运行当成通过。

## 分开阅读三类证据

| 证据 | 可以说明什么 |
| - | - |
| 本地验证 | 固定包、实际文件、输出契约和声明的业务样例是否通过 |
| 模型 Eval | 所选 Agent、模型和固定用例的真实执行行为 |
| Agent 平台验证 | 指定平台的实际加载、Hook、交接和任务执行情况 |

模型 Eval 展示实际覆盖到的步骤与路径。未执行的分支、外部操作或平台仍未覆盖；少量用例不能证明全部业务范围。

## 查看与重试

Dashboard 提供状态、阶段、用例、日志、报告及配置快照。可以停止自己启动的执行，使用原用例重试失败项，并将结果与兼容的基线比较。

从 Comet Any 打开关联 Eval 后，可返回原创作或应用运行的证据页。跳过模型 Eval 会明确记录，不影响必需的隔离产物验收。

凭据只来自当前执行环境或受管理的用户配置，不写入应用包、用例输入、报告或生成的 Agent 配置。

## 完整结果与失败重跑

业务用例失败与评测框架异常分别记录。初始化、清理或执行异常会使整轮结果不计为完成，即使用例已产生分数，也不能设为基线。失败重跑保留原用例身份，不覆盖原完整评估，也不能独立取得完整应用验收结论。见 [报告与基线](/zh/eval/reports.md#结果基线与应用分发)。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.