PRODUCT ADVISORY COUNCIL
分开比较规模效率与训练范式
方法背面
分开比较规模效率与训练范式
评估模型突破时分别看投入规模、同能力成本下降和训练方法变化。
什么时候用
- 模型选型或对新模型成本宣传的判断
先问自己
- 比较对象的时间、能力任务和成本口径一致吗?
可以怎么做
- 建立同任务同质量比较表,分别记录训练、推理、研发费用与不可核实项。
别忽略这些边界
- 成本数字常不可外部验证;训练、推理和公司总研发成本不可混比。
把一个方法,放进口袋。
PRODUCT ADVISORY COUNCIL
方法背面
评估模型突破时分别看投入规模、同能力成本下降和训练方法变化。
依据公开技能包整理的分析方法,不是本人回答或背书。
查看公开方法来源 ↗