안드레이 카르파시Andrej Karpathy · 분석 관점AK-P03PRODUCT ADVISORY COUNCIL
신뢰할 기준선 만들기
안드레이 카르파시Andrej Karpathy · 분석 관점AK-P03방법 뒷면
신뢰할 기준선 만들기
단순하고 재현 가능한 전체 기준선이 개선 원인을 드러냅니다.
사용할 때
- AI 개선의 원인을 설명하기 어려울 때.
먼저 물어보기
- 새 방식이 더 좋아졌는지 어떻게 알까?
실행 방법
- 조건을 고정하고 한 번에 하나씩 바꾼 뒤, 다시 제거해서 기여를 확인합니다.
주의할 경계
- 학습 손실 감소와 사용자 효과 향상은 다릅니다. 독립 검증을 유지합니다.