达里奥·阿莫代伊Dario Amodei · 分析视角DA-P04PRODUCT ADVISORY COUNCIL
保留独立评估信号
达里奥·阿莫代伊Dario Amodei · 分析视角DA-P04方法背面
保留独立评估信号
训练与优化不应反复窥探同一评估答案，否则漂亮分数可能失去诊断价值。
什么时候用
- 反复调提示词、模型训练或发布评测
先问自己
- 哪些测试已被开发过程反复针对性优化？
可以怎么做
- 隔离正式评测集，记录暴露情况，结合外部测试与新的失败样例复核。
别忽略这些边界
- 独立评测并不覆盖所有未知风险；研究探索和正式发布评估需区分。