- 写系统提示词:角色、边界、输出、拒答自己搭Agent,写得像许愿,结果它什么都答、什么都不准。
- 任务拆解:拆到可验收为止给Agent一个大任务,它东做一点西做一点,最后交不出东西。
- 工具调用约定:什么时候不准用Agent手里有工具,就会忍不住到处调,代价和风险都上来了。
- Agent自查:交付前先过一遍清单Agent交出来的东西看着完整,细看有编的、有漏的、有没做的。
- 系统提示词:给Agent一份能执行的角色要写一个客服Agent的系统提示词,怕它乱承诺、乱回答。
- 任务拆解:把一件大事拆成可执行步骤要让Agent完成「调研并写一份报告」,但它中途会跑偏。
- 工具契约:让模型知道什么时候不能调给Agent加了一个退款工具,它动不动就调用,造成资损。
- 状态机设计:让流程不乱跳Agent处理一个多轮流程,经常回到已经完成的步骤重新问。
- 记忆策略:该记住什么、该忘什么Agent跨会话记不住用户偏好,或者记住了一堆没用的。
- 多Agent协作:谁听谁的要做多Agent协作,但一上线就互相打转。
- 失败重试:重试前先判断值不值Agent调工具失败就重试,有时越重试越糟。
- 人工介入:什么时候必须叫人Agent全自动跑,出错了没人发现。
- 评估集:怎么知道它变好了改了提示词,感觉好了一点,但说不清。
- 成本控制:一次任务花多少钱Agent跑起来token消耗失控,账单吓人。
- 可观测性:出问题怎么复盘Agent答错了,但不知道中间哪一步出了问题。
- 输出格式约束:让程序能解析Agent返回的内容格式不稳定,程序经常解析失败。
- 权限设计:它能碰什么Agent要接内部系统,需要限定它能做什么。
- 拒答设计:不知道就说不知道Agent遇到不确定的事也会给一个像样的答案。
- 提示注入防护:外部内容不能当指令Agent会读取网页或用户上传的文件,担心被其中一句话劫持。
- 上下文管理:长任务不忘前面Agent处理长任务时会忘掉早期的关键约束。
- 批处理:一次跑一千条要把同样的任务跑在一千条数据上,逐条跑太慢。
- 审批流:把决定权留在人手里Agent生成的对外内容要发布,需要有人签字。
- 回滚:Agent做错了怎么退回去Agent修改了配置或发了消息,出错了要撤回。
- 灰度发布:先给内部用新Agent上线怕出大问题,想小范围试。
- Agent说明文档:让人敢用团队做了个Agent,别人不知道它能干什么、不能干什么。
- 任务边界:别让它做不该做的事Agent被用户引导着做了超出范围的事。
- 提示词评审:找出让它困惑的那句Agent表现不稳定,我怀疑系统提示词写得有问题。
- 幻觉排查:它为什么编了一个数Agent回答里出现了不存在的数字或引用。
- 工具选错:它为什么调了那个Agent有五个工具,总是选错。
- 死循环:它为什么停不下来Agent反复调用同一个工具或重复同一段话。
- 格式错误:解析失败怎么办Agent返回的JSON偶尔多一段解释,程序报错。
- 该拒未拒:它答应了不该答的Agent对超出范围的问题给了一个看似合理的答复。
- 评估集构建:三十条就够用想评估Agent但不知道造多少测试用例。
- 回归测试:改一处崩三处改了提示词解决了A问题,B问题又回来了。
- 成本超支:一次任务花太多某类请求让Agent消耗异常高。
- 日志分析:从失败日志找规律攒了几百条失败记录,人工看不过来。
- AB对比:两个提示词哪个好有两版提示词,想知道哪版真的更好。
- 用户反馈归因:差评说的是真问题吗用户说Agent「答得不准」,需要判断真实原因。
- 多轮对话:第三轮就跑偏Agent在前两轮正常,第三轮开始答非所问。
- 上下文压缩:摘要丢了关键信息为了省token做摘要,结果关键约束被压掉了。
- 提示词版本管理:改坏了怎么回退提示词改来改去,不知道哪版最好,也回不去。
- 工具描述优化:写给模型看还是写给人看工具描述是给工程师看的,模型总是用错。
- 红队测试:故意让它出错Agent要上线,需要在上线前找它的边界。
- 批量任务质量抽检:怎么抽样Agent批量处理了一万条,需要抽检质量。
- 多语言:小语种为什么变差Agent中文效果不错,换到小语种就明显变差。
- 迭代节奏:什么时候该重构提示词提示词越加越长,加一句修一个bug,越来越难维护。
- 失败样本归因表:一张表看清问题分布想把线上失败整理成一张能指导行动的图。
- 人机对比:Agent和人谁做得更好要用Agent替代一部分人工,需要判断哪些活能交出去。