吳恩達Andrew Ng · 分析視角AN-P02PRODUCT ADVISORY COUNCIL
先看真實輸出再設計評測
吳恩達Andrew Ng · 分析視角AN-P02方法背面
先看真實輸出再設計評測
用小原型暴露失敗方式，再圍繞重要錯誤逐步建立評測集。
什麼時候用
- 生成式任務的輸出質量難以用單一指標描述
先問自己
- 哪些輸出錯誤會真正傷害使用者？
可以怎麼做
- 人工檢查首批輸出，整理失敗分類和代表性樣本
- 明確客觀指標與主觀判斷，隨新錯誤更新評測
別忽略這些邊界
- 小樣本用於起步，不能代表上線可靠性；模型評分也需要校准。