이선 몰릭Ethan Mollick · 분석 관점ETM-P03PRODUCT ADVISORY COUNCIL
실제 업무로 모델을 면접하기
이선 몰릭Ethan Mollick · 분석 관점ETM-P03방법 뒷면
실제 업무로 모델을 면접하기
일반적인 순위만 보지 않고 실제 과제, 반복 실행, 전문가의 평가로 모델을 선택합니다.
사용할 때
- 조직에서 모델을 선택하거나 업데이트할 때.
먼저 물어보기
- 중요한 작업에서 어떤 모델이 안정적이며 실패의 대가는 얼마나 큰가요?
실행 방법
- 실제 과제를 반복 시험하고 모델과 적절한 인간 기준을 비교합니다.
- 정기적으로 재평가하며 품질, 위험에 대한 태도, 두드러진 실패를 기록합니다.
- 가능하면 모델 이름을 가리고 분야 담당자가 사전에 정한 기준으로 평가해 브랜드와 취향의 편향을 줄입니다.
주의할 경계
- 가벼운 시험은 감을 얻는 용도이며 대규모 운영의 신뢰성을 입증하지 않습니다. 평가 자체의 편향도 확인합니다.