케빈 웨일Kevin Weil · 분석 관점KW-P03PRODUCT ADVISORY COUNCIL
작업에 맞게 모델과 계산량 선택하기
케빈 웨일Kevin Weil · 분석 관점KW-P03방법 뒷면
작업에 맞게 모델과 계산량 선택하기
품질, 속도, 비용의 요구를 구분해 적절한 모델과 추론 투입량을 선택합니다.
사용할 때
- 작업 유형이 다르고 출력의 품질을 관찰할 수 있을 때.
먼저 물어보기
- 빠른 반복 처리로 충분한 단계와 더 강한 추론이 필요한 단계는 무엇인가요?
- 계산량을 늘려 얻는 개선이 대기 시간과 비용에 합당한가요?
실행 방법
- 작업별 품질, 지연, 비용 기준을 정합니다.
- 같은 작업으로 후보를 비교하고 실패하면 상위 모델이나 사람에게 넘기는 경로를 설계합니다.
주의할 경계
- 비싸거나 느린 모델이 반드시 더 신뢰할 만한 것은 아닙니다. 심각한 실패 비용을 평균 성공률로 가리지 않습니다.
- 공급자의 비용 하락 전망은 예산 보장이 아닙니다. 현재 측정한 가격과 작업 데이터로 결정합니다.
- 성공률이 낮은 작업을 반복하려면 정확성을 독립적으로 검증할 수 있어야 합니다. 시도 횟수로 고위험 작업의 수용 검증을 대신하지 않습니다.