Docs

Agent Capability Map

Agent Resume / Capability Audit。文档只解释最短使用链路:什么场景适合、怎么评、用什么模板输出,以及这套 MVP 明确不做什么。

Use cases

这套框架适合先把能力说明层写清楚,而不是马上追求自动评分。

适用场景

  • 给不同 Agent 做一份可比较的能力履历卡
  • 把零散试用感受整理成结构化 capability audit
  • 给团队、客户或上游 Agent 一份更克制的能力说明层

使用流程

  1. 先选定一个 Agent 和 2-3 个真实任务样本,明确评测目标。
  2. 使用标准测评提示词,基于真实表现填写工具面、边界、稳定性和成本感知。
  3. 把结果整理成 Markdown 履历卡,保留适合与不适合的任务范围。
  4. 把履历卡交给人类决策者或上游 Agent 作为能力说明层,不把它当成绝对评分榜单。

Standard eval prompt

先用一份统一提示词收集事实,再决定这个 Agent 的定位与边界。

这份模板要求评测者基于真实任务表现填写,不允许只写优点,也不允许跳过失败模式、边界与成本感知。

Raw template: standard-eval-prompt.md

# Agent Capability Map Standard Evaluation Prompt

请基于真实任务表现,而不是印象、宣传文案或空泛赞美,完成这份 Agent 能力测评。

要求:
- 必须基于至少 2-3 个真实任务样本填写。
- 不允许只写优点,必须写清不适合任务、边界与风险。
- 不允许跳过失败模式、稳定性或成本感知。
- 如果某项信息无法确认,请明确写出“不确定”与原因,不要猜。
- 输出必须克制、具体、可比较,避免“非常强”“什么都能做”这类空话。

请围绕以下维度输出:

## 基本身份
- Agent 名称
- 角色定位
- 主要工作方式
- 典型输入 / 输出

## 可调用工具 / 环境
- 它能直接调用哪些工具、接口或运行环境
- 它依赖哪些外部条件才能稳定工作
- 哪些能力只是理论上可做,哪些是你已经验证过的

## 擅长任务
- 它最擅长完成的任务类型
- 哪些任务里它的表现明显优于通用助手
- 最适合把它放在哪个工作流节点

## 不适合任务
- 哪些任务交给它风险很高
- 哪些任务会浪费成本、时间或沟通带宽
- 哪些任务看起来相关,但其实不应该交给它

## 边界与风险
- 它最常见的失败方式是什么
- 它对上下文、工具、权限、格式的依赖边界是什么
- 哪些情况下必须加人工复核

## 输出稳定性
- 同类任务重复执行时是否稳定
- 是否容易出现风格漂移、漏项、误解约束或执行断裂
- 你对它输出一致性的总体判断是什么

## 速度 / 成本感知
- 它更适合快而轻的任务,还是慢而重的任务
- 在你观察里,它的 token / 工具 /协作成本感知如何
- 什么情况下它是“值得调用”的,什么情况下不值得

## 推荐使用方式
- 最推荐的调用姿势是什么
- 给它任务时应该提供什么前置信息
- 怎样写 brief 或约束能明显提高表现

## 一行结论
- 用一句话总结:这个 Agent 最适合在什么边界内,被怎样使用。

Output template

默认输出就是 Markdown 履历卡,不额外引入 JSON 或平台字段。

输出模板的目标不是“显得专业”,而是让人和 Agent 都能快速读懂一个能力体到底适合什么、不适合什么。

Raw template: resume-card-example.md

# Agent Capability Resume Card

## Agent Name
Signal Cartographer

## Role / Positioning
一名偏研究与结构化梳理的 Agent,擅长把模糊输入整理成清晰的任务地图、边界说明和下一步动作建议。

## Best For
- 把零散需求整理成结构化 brief
- 为复杂任务做第一轮范围收束
- 输出给人类或其他 Agent 作为上游说明层

## Not Best For
- 直接承担高风险最终决策
- 在缺乏约束时生成“看起来完整”的长篇执行方案
- 需要持续调用外部系统做多轮状态管理的任务

## Tool Surface
- 文本分析
- 结构化摘要
- 规则归纳
- 不依赖外部数据库或浏览器时表现最稳

## Execution Style
先收束问题,再给结构,再给建议;适合放在工作流前段做任务澄清,不适合直接扮演最后执行者。

## Reliability Notes
在输入边界清楚时输出较稳;如果目标、受众或限制条件模糊,容易给出“看起来正确但过宽”的结果。

## Boundary Notes
不能把它当作事实验证器,也不应该用它替代真实执行日志或外部系统状态。涉及高风险判断时必须人工复核。

## Recommended Tasks
- 需求澄清
- brief 正规化
- capability audit 初稿
- 上游任务分发前的输入整理

## Avoid Using For
- 直接生成不可逆业务决策
- 需要强事实保证的最终结论
- 高度依赖外部工具成功率的串联式执行

## Evaluator Verdict
适合作为“上游收束与结构化说明”型 Agent 使用。只要别把它误当成万能执行器,它会是一张很好用的能力说明卡。

How to read the card

一份好的履历卡不追求华丽,而追求可判断、可比较、可路由。

先看定位

从 Role / Positioning、Best For、Not Best For 快速判断这个 Agent 是否在你的任务范围内。

再看工具面和执行风格

Tool Surface 与 Execution Style 会告诉你它依赖什么环境、输出节奏如何、是否适合高协作任务。

最后看边界与结论

Reliability Notes、Boundary Notes 和 Evaluator Verdict 决定你该怎么用它,以及什么时候应该换人或换 Agent。

MVP boundaries

这套公开方法包先服务于标准化描述,不承担平台化承诺。

  • 不做在线评分平台
  • 不做数据库和动态履历管理
  • 不做自动生成分数的评测器
  • 不替代真实任务测试,只提供标准化描述框架