本地模型 vs API 模型:同任务质量与耗时
实验设计已定,结果等原始记录
本页只给实验设计,不填结果。没有跑过的数字,一个都不写;跑完把原始记录贴进表格,再写结论。
要回答的问题
同一个编码 / 写作任务,分别用本地部署模型和云端API模型各跑一遍,输出质量、耗时、单任务成本差多少?
对照组
本地模型组 / API模型组;任务、输入、模式保持一致,各3次取原始记录。
环境与版本
- 宿主版本
- 待填
- 模型ID
- 待填
- 模式 / 权限
- 两组保持一致
- 输入文件
- 记录哈希,保证两次用的是同一份
要记录的字段
| # | 字段 | 结果 |
|---|---|---|
| 1 | 宿主版本与模型ID(本地与API各自) | 待实测 |
| 2 | 任务与输入哈希 | 待实测 |
| 3 | 每轮工具调用次数 | 待实测 |
| 4 | 输入 / 输出token | 待实测 |
| 5 | 墙钟耗时 | 待实测 |
| 6 | 最终产物是否一致 | 待实测 |
| 7 | 失败与重试记录 | 待实测 |
结论
待实测。写结论时必须同时写「不能推广的部分」。
为什么先不写结果
社区普遍预期本地模型省成本但质量略低、API模型反之;本站不预设,只收原始数据。