← 评估实验
Native 0.5.3 与 Native 0.4.0-rc.1 实测对比
在相同的任务、重复次数与 DeepSeek 配置下，两个 Native 版本均保持 100% 通过率；其中 0.5.3 的平均累计 Agent 执行耗时比 0.4.0-rc.1 降低了 32.1%。
在这批相同任务的实测中，Native 0.5.3 与 Native 0.4.0-rc.1 均实现 48/48 严格通过（通过率 100%）。其中，0.5.3 的平均累计 Agent 执行耗时为 159.8 秒，相比 0.4.0-rc.1 的 235.2 秒降低了 32.1%。两组对照均采用 Native 工作流。0.4.0-rc.1 采用已发布的固定版本包，保留了该版本自身的确认、验证与归档流程。
实验设置
测试日志中实际记录了
deepseek-flash[1m] 与 deepseek-v4-flash 两种标签。报告如实保留了这两种标签，未将它们合并统计。通过率与重复运行稳定性
判定严格通过必须同时满足两项要求：业务功能检查通过，且符合对应版本 Native 的工作流规范。pass@3 表示每道题目尝试 3 次中至少成功 1 次，反映解决问题的能力覆盖；pass^3 表示 3 次尝试全部成功，反映重复执行的稳定性。本轮测试中两个版本在两项指标上均达到 100%，表现持平。全部通过时的执行开销
以下统计基于两组均严格通过的全部 48 对匹配样本。执行耗时统计包含模型调用、工具执行与断点续行时间，不包含容器镜像构建与准备耗时。在保持全数通过的前提下，0.5.3 在执行效率上有显著改善：累计耗时下降 32.1%，工具调用减少 38.3%，可观测 Token 总量降低 12.1%；同时，模型启动 / 恢复次数与非缓存输入 Token 略有上升。下方完整报告给出了详细数据。