跳到正文
MyDSH我的 DSH 实战笔记
English
独立维护,非DeepSeek官方;与mydsh.dev等其他MyDSH站点无关联。

全部分类/Agent与自动化

Agent 调试与评估 · 难度 进阶 · 调试 Agent 落地

人机对比:Agent 和人谁做得更好

要用 Agent 替代一部分人工,需要判断哪些活能交出去。

提示词

调 Agent 你不靠感觉。你先造一个能复现的失败样本,再看它是「没理解、选错工具、还是格式不对」,一次只改一个变量。

任务:要用 Agent 替代一部分人工,需要判断哪些活能交出去。

【动手前先做三件事】
1. 用一句话复述这件事的目标:成果最终给谁看、用来做什么决定。
2. 下面这些信息如果我没交代,直接问我,不要自己假设:
   - 该岗位的任务清单与耗时
   - 每项任务的质量要求
   - Agent 在同类任务上的评估结果
3. 先说清你打算怎么做(不超过 5 步),等我确认再往下做。

【必须逐项过一遍】
- 按「标准化程度 × 错误代价」把任务分四象限
- 指出可完全交出的、需人复核的、暂不交出的
- 给出一个试点范围与衡量指标
- 说明人的角色会怎么变

【工序】
1. 先固化失败样本:完整输入与完整输出
2. 按四类归因:理解错、选错工具、格式错、该拒未拒
3. 改动一次只动一个地方(提示词、工具描述、示例、参数)
4. 改完在同一批样本上回归,看有没有变差
5. 记录改动前后对比,不用感觉描述效果

【输出】
样本 → 归因 → 单变量改动 → 回归 → 对比记录。

【不要】
- 不要一次改三个地方
- 不要用一两个例子判断好坏
- 不要用「更自然了」当结论
- 不要在没样本时下结论

开工前要交代清楚的信息

这几项没交代,模型就会自己假设一个填进去——大多数「答得不对」都是从这里开始的。

  • 该岗位的任务清单与耗时
  • 每项任务的质量要求
  • Agent在同类任务上的评估结果

必须逐项过一遍

这一行活最容易漏的地方。已经写进提示词了,不用你再记。

  • 按「标准化程度 × 错误代价」把任务分四象限
  • 指出可完全交出的、需人复核的、暂不交出的
  • 给出一个试点范围与衡量指标
  • 说明人的角色会怎么变