mimo-2.5 pro，裁判模型为glm-5.2，产出Pass@5总计实验次数240次。目标不是介绍功能，而是展示一份对比报告应如何阅读：先确认数据范围，再看任务结果、可靠性指标、rubric 维度、成本和失败归因。
本文基于这次实验的报告快照。报告中的
CONTROL 是无 Comet Skill 的业务完成基线，不要求产出 Comet workflow artifact。因此它适合做业务完成对照，不适合用来判断 Comet workflow 是否被正确执行。实验范围
这次实验比较三个 treatment：
实验包含 16 个 Comet workflow 任务。每个 treatment 纳入 80 次 analysis run，相当于每个任务约 5 次重复运行。报告同时统计任务结果、rubric 维度、
pass@k / pass^k、成本、运行时开销和 run-level failed checks。
核心数据
报告给出的结论是：COMET_FULL_040_BETA 的综合 workflow 分数为 0.89，高于 COMET_FULL_039 的 0.82，且没有维度退步超过 0.05 的容忍线。
同时，strict overall pass 显示另一层信号：COMET_FULL_040_BETA 为 71/80，低于 COMET_FULL_039 的 76/80。这个差异主要来自 run-level workflow contract failure，而不是任务矩阵中的业务失败。
因此，这份报告需要分口径阅读：0.4.0 beta 在加权 workflow 质量、状态恢复和部分流程证据上高于 0.3.9；同时，run-level Skill 调用契约仍需要继续检查。
pass@k 和 pass^k
pass@k 表示 k 次尝试中至少一次成功的概率，用来观察能力上限。pass^k 表示 k 次尝试全部成功的概率，用来观察可靠性下限。
这里的主要信号是 gap：
COMET_FULL_040_BETA 的 pass@5 为 1.00，但 pass^5 为 0。这表示多次尝试中可以观察到成功，但连续稳定成功还没有达到。
任务结果
任务矩阵反映业务任务是否通过：
唯一任务级失败出现在
COMET_FULL_039 的 comet-api-cache-ttl。在任务结果口径下，0.4.0 beta 覆盖了全部 16 个任务。
但任务矩阵只回答”任务是否完成”。它不回答 Skill 是否按预期触发、是否保留了足够的 workflow 证据、是否稳定遵守决策点。因此还需要继续看 rubric 和 failed checks。
Rubric 维度
0.4.0 beta 的加权分更高，主要来自main_flow、gate_guard 和 recovery_resilience：
recovery_resilience 是本次差值最高的维度。它说明 0.4.0 beta 在中断恢复、状态保留和恢复证据上得分更高。
decision_point_compliance 和 skill_invocation 没有改善。它们对应两个后续检查方向：决策点是否稳定暴露给用户，以及依赖 Skill 的调用证据是否稳定进入报告。
成本和运行时
0.4.0 beta 的总 token、总成本和平均成本低于 0.3.9：
运行时开销接近，但工具调用数有差异：
这表示 0.4.0 beta 平均轮数更高，但工具调用数更少，整体耗时与 0.3.9 基本一致。
Failed checks
run-level failed checks 主要集中在 Skill 调用契约：
这类失败不一定等同于业务任务失败。它表示报告没有稳定观察到预期的 Skill 调用证据。对 workflow Skill 来说，这仍然重要，因为评估不仅检查最终结果，也检查过程是否可追踪、可恢复。
LLM judge overlay
LLM judge 重新阅读 artifact 后，对三个定性维度给出独立评分：
这组读数说明，规则型 rubric 观察到 0.4.0 beta 的流程和恢复证据更好；但从 artifact 内容质量看，0.4.0 beta 与 0.3.9 接近，部分维度略低。后续优化可以同时关注两类信号：结构化流程证据，以及 proposal、design、tasks、verify artifact 的内容密度。
如何使用这份结果
可以把这份报告作为一次基线读数，而不是单一通过/失败结论。
如果要继续推进 0.4.0 beta，优先检查两类问题：依赖 Skill 调用证据是否稳定进入 stream-json，以及决策点是否稳定要求用户确认。修复后，应使用同一组任务和相同重复次数重跑对比，避免把任务差异或样本差异当成版本差异。
与LangSmith/LangFuse的集成
Comet Eval的自动化双Agent架构能够在线上与LangSmith/LangFuse环境集成，让实验可追溯、Skill可演进
在LangSmith中管理你的Skill基线，查看详细的评估指标，延迟及Token消耗
在LangSmith中追踪你的Claude Code全链路
在LangSmith通过Pytest跟踪自定义Rubric指标
Mimo真实Token消耗
实验开始前
实验结束时
这里总消耗Credits量超百亿，下方等价15亿+Token。原始报告
下面嵌入原始 HTML 报告快照。它包含完整图表、任务矩阵、来源证据、raw vs analysis sensitivity、failed checks 和 LLM judge overlay。下一步
- 评分指标与双 Agent 评测 - 理解
pass@k、pass^k、rubric 和 LLM judge。 - 读取评估报告 - 学会从 summary、report JSON 和 failed checks 定位问题。
- Eval harness - 理解评估如何运行、如何收集 stream-json 证据。