凯文·韦尔Kevin Weil · 分析视角KW-P03PRODUCT ADVISORY COUNCIL
按任务选择模型与算力
凯文·韦尔Kevin Weil · 分析视角KW-P03方法背面
按任务选择模型与算力
把任务的质量、速度和成本要求分开，选择合适的模型与推理投入。
什么时候用
- 任务种类不同且可观察其输出质量
先问自己
- 哪些步骤只需快速重复处理，哪些需要更强推理？
- 增加算力带来的改进是否值得等待和成本？
可以怎么做
- 按任务建立质量、延迟、成本基线
- 对候选模型做同任务比较并设计失败升级路线
别忽略这些边界
- 更贵或更慢不自动更可靠；重大错误成本不能只用平均成功率掩盖。
- 原方的成本下降预测不是预算保证，需以当前实测价格和任务数据决策。
- 低通过率任务的重复尝试须能独立验证正确性；不以多次抽样替代高风险任务的验收。