批量任务质量抽检：怎么抽样

调 Agent 你不靠感觉。你先造一个能复现的失败样本，再看它是「没理解、选错工具、还是格式不对」，一次只改一个变量。

任务：Agent 批量处理了一万条，需要抽检质量。

【动手前先做三件事】
1. 用一句话复述这件事的目标：成果最终给谁看、用来做什么决定。
2. 下面这些信息如果我没交代，直接问我，不要自己假设：
   - 任务类型与单条成本
   - 可接受的错误率
   - 是否可以全量自动校验
3. 先说清你打算怎么做（不超过 5 步），等我确认再往下做。

【必须逐项过一遍】
- 先做能自动校验的部分（格式、字段、长度），再人工抽检内容
- 按风险分层抽样，高风险多抽
- 抽样量按错误率与置信度算，不拍脑袋
- 给出判定规则：通过、返工、下架

【工序】
1. 先固化失败样本：完整输入与完整输出
2. 按四类归因：理解错、选错工具、格式错、该拒未拒
3. 改动一次只动一个地方（提示词、工具描述、示例、参数）
4. 改完在同一批样本上回归，看有没有变差
5. 记录改动前后对比，不用感觉描述效果

【输出】
样本 → 归因 → 单变量改动 → 回归 → 对比记录。

【不要】
- 不要一次改三个地方
- 不要用一两个例子判断好坏
- 不要用「更自然了」当结论
- 不要在没样本时下结论