跳转到主要内容
Analyzers 是 AgentCompass 的后置分析层。任务产生 RunResult 后,analyzer 会检查 trajectory、metrics、error、latency、模型输出和工具调用,并把结果写入每个 attempt 的 analysis_result.<AnalyzerId>,再聚合成 analysis_summary.json / analysis_summary.md

Badcase 检测

识别异常、截断、JSON 错误、重复、延迟、终端误用等问题。

统计指标

统计 step 数、tool call 数、耗时、token 长度和 value-count 分布。

定性分析

用 LLM-backed analyzer 标注轨迹阶段、总结行为并生成 segment graph 报告。

组件注册表

agentcompass list analyzer 会在终端输出 analyzer 列表,agentcompass list dump 会导出到 agentcompass_components.md

随评测运行

对已有结果重新分析

默认情况下,analysis 会复制输入 run 到一个新的 timestamp sibling。使用 --output 指定复制目标,或使用 --override 原地覆盖。

选择规则

当前 agentcompass list analyzer 输出包含 25 个 analyzer,覆盖基础统计、异常检测、效率分析、行为模式检测、reward-hacking 检测和 qualitative 分析。