跳转到主要内容

​
配置模型访问

先启动一个本地部署的 GLM-5.2 endpoint，并确保它提供 OpenAI-compatible chat API。Shell 变量名必须使用下划线，不能写成 model-base-url 这种带连字符的形式。
如果本地服务启用了鉴权，请把 EMPTY 换成真实 key。下面的示例会把这两个值传入每次 run，并使用 openai-chat 协议。

​
检查 SWE-bench 依赖

SWE-bench Verified 和 mini-SWE-agent 使用可选依赖，不包含在最小安装中。运行快速开始前，请在当前环境安装：
Docker 快速开始还需要本机 Docker daemon 可用，并且能够拉取 recipe 推导出的 SWE-bench 任务镜像：

​
推荐配置方式

Secrets 建议保存在环境变量中，YAML 配置文件用于复用运行默认值。agentcompass config show 默认输出 YAML。不传组件 selector 时，它输出全局 runtime 和 execution 配置，适合生成用户级或项目级默认配置：
项目级默认配置可以放在 <repo-root>/config.yaml：
如果要为某次 run 生成可编辑模板，请显式传入这次评测要用的组件。被选中的 benchmark、harness 和 environment 默认字段会写入 YAML：
启动时用 --config 应用这个文件：
编辑组件配置前，可以用 agentcompass config docs <kind> <component-id> 查看字段说明：

​
快速开始

先用一个 SWE-bench Verified instance 做 smoke test，再提高并发或移除 sample_ids。

​
Docker Smoke Test

使用 Docker 运行一个 SWE-bench Verified 任务，由 mini-SWE-agent 调用本地 GLM-5.2 endpoint：

​
Remote Sandbox

Remote Sandbox 需要对应 provider 的凭据。对于较重的 terminal 和 coding benchmark，remote provider 通常更合适，因为 recipe 可以从任务元数据自动选择镜像和工作目录。

​
Daytona：运行 SWE-bench Verified 单个 instance

使用 Daytona 运行同一个 SWE-bench smoke test，避免占用本地 Docker 计算资源：
这个命令适合验证 provider 配置：sample_ids 把运行范围限制到一个任务，Daytona recipe 会从 SWE-bench 任务元数据推导镜像和 workspace。

​
Modal：并发运行完整 SWE-bench Verified

使用 Modal 在并发条件下快速运行完整 SWE-bench Verified：
这个命令没有设置 sample_ids，因此会运行完整 benchmark split。如果模型 endpoint 或 sandbox provider 的限额较低，可以先把 --task-concurrency 调小。
对 SWE-bench、Terminal-Bench 等带 recipe 的任务，镜像和 workspace root 通常来自任务元数据，不需要在 CLI 中手动传 image。只有需要覆盖 recipe 默认值时才使用 --env-params。

模型 API

配置模型协议、采样参数和 judge model。

环境选择

选择本地、Docker、Modal、Daytona 或集群环境。