流式输出 vs 一次性生成:同一任务的差异
实验设计已定,结果等原始记录
本页只给实验设计,不填结果。没有跑过的数字,一个都不写;跑完把原始记录贴进表格,再写结论。
要回答的问题
同一个生成任务,流式(边想边出)与批量(想完一次返回)在质量、首字延迟、总耗时上差多少?
对照组
流式组 / 批量组;其余条件一致,各3次取原始记录。
环境与版本
- 宿主版本
- 待填
- 模型ID
- 待填
- 模式 / 权限
- 两组保持一致
- 输入文件
- 记录哈希,保证两次用的是同一份
要记录的字段
| # | 字段 | 结果 |
|---|---|---|
| 1 | 宿主与模型 | 待实测 |
| 2 | 任务与输入哈希 | 待实测 |
| 3 | 首字延迟 | 待实测 |
| 4 | 总墙钟耗时 | 待实测 |
| 5 | 输出长度与质量评分 | 待实测 |
| 6 | 失败记录 | 待实测 |
结论
待实测。写结论时必须同时写「不能推广的部分」。
为什么先不写结果
流式改善体感但不一定改变最终质量;本站只记录,不下结论。