FrontierScience

FrontierScience 评测专家级科学研究任务，并使用 judge model 评分。

Runtime Status

Field	Value
Benchmark id	`frontierscience`
Tags	`Deep Research`, `Science`, `Judge-Scored`
Execution type	local with judge
Typical harness	`naive_search_agent` 或 `researchharness`
Typical environment	`host_process`
Current status	registered in the direct runtime

Run Example

agentcompass run \
  frontierscience \
  naive_search_agent \
  your-model \
  --env <env-provider> \
  --benchmark-params '{"sample_ids":["<task-id>"]}' \
  --model-base-url "$MODEL_BASE_URL" \
  --model-api-key "$MODEL_API_KEY"

Common Parameters

Parameter	Meaning
`category`	过滤任务类别。
`subject`	过滤科学学科。
`judge_model`	评分使用的 judge model spec。
`research_pass_threshold`	scorer 使用的通过阈值。

Outputs

单任务详情写入 results/frontierscience/<model>/<run>/details/，聚合结果写入 summary.md。

DeepSearchQA GAIA

⌘I

概览

运行时

评测基准

开发者

Runtime Status

Run Example

Common Parameters

Outputs

​Runtime Status

​Run Example

​Common Parameters

​Outputs

Runtime Status

Run Example

Common Parameters

Outputs