Skip to main content
Results 是 AgentCompass run 的持久化记录。它既面向人工检查,也面向后续自动化:summary regeneration、post-analysis、badcase mining 和 result reuse 都从 run directory 开始。

目录结构

details/*.json 是真相来源。summary 文件是派生视图。

产物职责

本地结果查看器

tools/result-browser 提供一个本地 Web 界面,用于查看已完成或正在运行的 run directory。它从源码 checkout 中启动,运行 UI 服务的机器需要安装 Node.js 和 npm。 在仓库根目录执行:
打开 npm run dev 输出的 Vite 地址,通常是 http://localhost:5173,然后输入包含 summary.mddetails/ 的 run directory 绝对路径,例如 /path/to/AgentCompass/results/swebench_verified/your-model/20260703_120000 输入路径会在运行 npm run dev 的机器上解析。如果通过 SSH 端口转发或远程转发地址访问 UI,仍然需要输入服务端机器上的 run directory 绝对路径。 如需本地检查构建产物:

Summary vs Analysis

summary 是轻量操作。它读取已有 details 并重新计算 benchmark aggregate metrics。
analysis 更重。它会对 task attempts 重新运行 analyzers,把 analysis_result.<AnalyzerId> 写入 details,并重新生成 analysis summaries。
默认情况下,analysis 会把输入 run 复制到新的 timestamp sibling。只有明确要修改原 run directory 时才使用 --override

如何读取 Details

per-task detail 文件应包含足够信息,避免为了调试重新跑任务:
  • task id、category 和 benchmark metadata;
  • attempt status 和 correctness;
  • benchmark metric fields;
  • harness prediction 和 trajectory;
  • environment 或 evaluation errors;
  • analysis_result 下的 analyzer output。

Reuse 行为

Runtime 会在执行 pending tasks 前 materialize 并加载已有 details。这适用于 run 被中断后恢复,或只需要重算部分任务的情况。 如果希望 reuse 和 summary regeneration 正常工作,应保持稳定 output path、稳定 task_id,并避免删除 details/

Data 和 Output Roots

runtime.data_dirruntime.results_dirconfig/defaults.yaml 中的 YAML 键,并有对应 CLI flag;--run-name--run-id 是 per-run CLI flag(属于 RunRequest 的 output 字段,不是配置文件键)。

相关页面