PRODUCT ADVISORY COUNCIL
按任务摸清AI能力边界
方法背面
按任务摸清AI能力边界
在真实任务上分别测试强项和失误,不把一种任务的成功扩展为全面可靠。
什么时候用
- 设计人机协作或选用模型
先问自己
- 哪些看起来相近的任务,实际有不同的失败风险?
可以怎么做
- 收集成功与失败任务,记录模型版本和使用条件
- 在边界外保留人工检查及替代流程
别忽略这些边界
- 早期研究的模型、样本和任务有特定范围;不能把其中提升比例当作当前公司的保证。
把一个方法,放进口袋。
PRODUCT ADVISORY COUNCIL
方法背面
在真实任务上分别测试强项和失误,不把一种任务的成功扩展为全面可靠。
依据公开技能包整理的分析方法,不是本人回答或背书。
查看公开方法来源 ↗