CLI

AgentCompass 的 console script 是 agentcompass。推荐通过项目 .venv 执行：

uv run agentcompass --help

或激活环境：

source .venv/bin/activate

agentcompass --help

顶层命令

Command	作用
`agentcompass run`	直接运行 evaluation。
`agentcompass summary`	对已有 run directory 重新生成 `summary.md`。
`agentcompass analysis`	对已有结果目录重新跑 post-analysis，更新 `analysis_result` 和 `analysis_summary`。
`agentcompass list`	已注册组件查询命令组。
`agentcompass config`	查看合并后的配置 YAML 和组件配置字段文档。
`agentcompass --help`	查看帮助。
`agentcompass --version`	查看版本。

agentcompass list dump 反映当前 checkout 已 import 的组件。拉取新代码后请重新运行；公开文档支持范围以支持的组件为准。

Run

export MODEL_BASE_URL="http://localhost:8000/v1"
export MODEL_API_KEY="EMPTY"

agentcompass run \
  swebench_verified \
  mini_swe_agent \
  glm-5.2 \
  --env docker \
  --benchmark-params '{"sample_ids":["astropy__astropy-12907"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY" \
  --model-api-protocol openai-chat \
  --task-concurrency 1

Summary 和 Analysis 的区别

summary 只重新聚合已有 details 并生成 summary.md：

agentcompass summary results/swebench_verified/your-model/20260703_120000

analysis 会重新执行 analyzers，并生成或更新 analysis_result、analysis_summary.json 和 analysis_summary.md：

agentcompass analysis \
  --input results/swebench_verified/your-model/20260703_120000 \
  --analysis-params '{"analyzers":["ExceptionAnalyzer","TruncationAnalyzer"]}'

默认情况下 analysis 会复制输入 run 到新的 timestamp sibling；只有明确想覆盖原结果时才使用 --override。 run 可重复传入 --recipe-dir <package-dir>，为当前 run 加载受信任的外部 recipe package。

Config

agentcompass config 当前包含两个子命令：

agentcompass config show [OPTIONS]
agentcompass config docs <kind> <component-id>

config show 默认以 YAML 打印合并后的生效配置，适合直接查看或重定向成可编辑配置文件：

agentcompass config show --benchmark swebench_verified --harness mini_swe_agent --env docker > configs/swebench-glm52-docker.yaml

不传 --benchmark、--harness、--env 时，config show 输出全局 runtime 和 execution 配置。需要让某个组件默认字段进入 YAML 时，请显式添加对应 selector。可以重复使用 --config 先叠加已有配置，再打印结果；需要机器消费时可加 --format json：

agentcompass config show --config config.yaml --config configs/private.yaml --benchmark swebench_verified --format json

config docs 以 Rich table 打印某个组件 config class 的字段、默认值和说明。kind 可取 benchmark、harness 或 env：

agentcompass config docs benchmark swebench_verified
agentcompass config docs harness mini_swe_agent
agentcompass config docs env docker

概览

运行时

评测基准

开发者

顶层命令

Run

Summary 和 Analysis 的区别

Config

​顶层命令

​Run

​Summary 和 Analysis 的区别

​Config

顶层命令

Run

Summary 和 Analysis 的区别

Config