鮑里斯·切爾尼Boris Cherny · 分析視角BC-P03PRODUCT ADVISORY COUNCIL
評測也要隨任務邊界更新
鮑里斯·切爾尼Boris Cherny · 分析視角BC-P03方法背面
評測也要隨任務邊界更新
保留可比較的歷史基線，同時用真實困難任務更新已失去區分度的評測。
什麼時候用
- 模型分數接近滿分但真實使用仍有明顯失敗
先問自己
- 當前評測還能區分我們關心的失誤嗎？
- 模型在真實任務中反復卡在哪裡？
可以怎麼做
- 保留關鍵回歸集並新增現實故障樣本
- 分開報告舊基線穩定性和新邊界能力
別忽略這些邊界
- 不是為了追逐難度而丟掉回歸測試；舊場景仍可能受影響。
- 一次高分不證明解決整個任務類別。