鲍里斯·切尔尼Boris Cherny · 分析视角BC-P03PRODUCT ADVISORY COUNCIL
评测也要随任务边界更新
鲍里斯·切尔尼Boris Cherny · 分析视角BC-P03方法背面
评测也要随任务边界更新
保留可比较的历史基线，同时用真实困难任务更新已失去区分度的评测。
什么时候用
- 模型分数接近满分但真实使用仍有明显失败
先问自己
- 当前评测还能区分我们关心的失误吗？
- 模型在真实任务中反复卡在哪里？
可以怎么做
- 保留关键回归集并新增现实故障样本
- 分开报告旧基线稳定性和新边界能力
别忽略这些边界
- 不是为了追逐难度而丢掉回归测试；旧场景仍可能受影响。
- 一次高分不证明解决整个任务类别。