运行 Service Benchmark

有些评测会把 agent loop 委托给外部 service。在当前运行时中，这是一个 harness 级别的模式：terminus2 harness 可以通过 endpoint 参数连接远程 agent service，而 AgentCompass 仍然负责任务准备、结果归一化、summary 和 analysis。

前置条件

外部 agent service 已启动并可访问。
Harness 支持 service endpoint。对于 terminus2，可通过 --harness-params 传入，或在配置中设置 harnesses.terminus2.endpoint。
已导出模型 endpoint 环境变量。

命令模式

agentcompass run \
  terminal_bench_2 \
  terminus2 \
  your-model \
  --env <env-provider> \
  --harness-params '{"endpoint":"http://127.0.0.1:8000"}' \
  --benchmark-params '{"sample_ids":["<task-id>"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

endpoint 也可以在 config/defaults.yaml 的 harnesses.terminus2.endpoint 下统一设置；service_url 和 url 是可用别名。

需要确认

检查	原因
Service health	避免把 service failure 误判为模型 failure。
Timeout settings	Service benchmark 可能比本地 dataset 更慢。
Task ids	使用 `sample_ids` 做可复现调试。
Result schema	确认 service response 能映射到 `details/*.json`。

快速开始

核心模块

执行环境

实战指南

前置条件

命令模式

需要确认

相关页面

​前置条件

​命令模式

​需要确认

​相关页面

前置条件

命令模式

需要确认

相关页面