鮑里斯·切爾尼Boris Cherny · 分析視角BC-P02PRODUCT ADVISORY COUNCIL
用消融檢驗提示與工具的價值
鮑里斯·切爾尼Boris Cherny · 分析視角BC-P02方法背面
用消融檢驗提示與工具的價值
模型升級後通過對照刪減檢查舊提示、工具和補償邏輯是否仍然有用，再按反復出現的問題加回。
什麼時候用
- 更換模型或歷史提示和工具持續堆積
先問自己
- 這條指令解決的是當前模型仍存在的問題嗎？
- 刪掉以後，任務質量和行為約束分別如何變化？
可以怎麼做
- 保存基線並逐項做有/無對照
- 只對穩定復現的缺陷加入必要說明，驗證後再部署
別忽略這些邊界
- 消融是受控實驗，不是直接清空生產配置。
- 權限、安全和資料完整性要求不能因一次能力展示就取消；保留回滾與基準。