| 节点 | 对照设计 | 对照组vs变量 |
|---|---|---|
| 四种模式怎么用modes | 四个预设的工具面对比 | 预设不同,任务相同 |
| PTC与标准模式对照ptc | 同任务两模式各跑三次 | 呈现方式不同,任务相同 |
| 上下文与压缩context-window | 压缩前后同一追问 | 压缩是否发生 |
| 指令写法与占位符prompt-structure | 一句话vs完整配方 | 指令结构不同 |
| 术语表glossary | 不做对照,只做出处 | —— |
| 模式与上下文索引context-index | (本页) | —— |
这一组的共同要求
- 同一任务:对比的前提是任务一模一样,包括输出格式。格式写死才能比。
- 变量只有一个:要么换模式,要么换指令,不要同时换两样。
- 至少三次:单次结果受波动影响太大,三次才看得出趋势。
- 记录三个数:工具调用次数、模型往返轮次、产物是否逐字一致。时间只作参考。
这一组最容易做假的地方是「产物不一致还硬比」。产物只要不同,就不是同一个任务了,后面所有数字都白算。所以每条实验记录的第一步都是:确认两次产物逐字一致。