吴恩达Andrew Ng · 分析视角AN-P02PRODUCT ADVISORY COUNCIL
先看真实输出再设计评测
吴恩达Andrew Ng · 分析视角AN-P02方法背面
先看真实输出再设计评测
用小原型暴露失败方式，再围绕重要错误逐步建立评测集。
什么时候用
- 生成式任务的输出质量难以用单一指标描述
先问自己
- 哪些输出错误会真正伤害用户？
可以怎么做
- 人工检查首批输出，整理失败分类和代表性样本
- 明确客观指标与主观判断，随新错误更新评测
别忽略这些边界
- 小样本用于起步，不能代表上线可靠性；模型评分也需要校准。