達里奧·阿莫代伊Dario Amodei · 分析視角DA-P04PRODUCT ADVISORY COUNCIL
保留獨立評估信號
達里奧·阿莫代伊Dario Amodei · 分析視角DA-P04方法背面
保留獨立評估信號
訓練與優化不應反復窺探同一評估答案，否則漂亮分數可能失去診斷價值。
什麼時候用
- 反復調提示詞、模型訓練或發佈評測
先問自己
- 哪些測試已被開發過程反復針對性優化？
可以怎麼做
- 隔離正式評測集，記錄暴露情況，結合外部測試與新的失敗樣例復核。
別忽略這些邊界
- 獨立評測並不覆蓋所有未知風險；研究探索和正式發佈評估需區分。