복잡한 작업에서 오류가 나기 쉬운 이유는 무엇일까요?
갑자기 불려 가서 복잡한 문제를 처리해야 한다고 상상해 봅시다. 깊이 생각하지 않고 곧바로 답한다면 얼마나 잘할 수 있을까요?
아마 실수할 가능성이 큽니다.
시작하기 전에 문제를 제대로 읽고 조건을 확인한 뒤 한 단계씩 처리하면 보통 더 신뢰할 수 있는 결과를 얻습니다.
대규모 언어 모델도 마찬가지입니다.
다만 한 가지 주의해야 합니다. 모델에 비공개 사고 과정 전체를 공개하라고 요구할 필요가 없고, “지금 생각하고 있다”는 긴 글을 정답의 증거로 여겨서도 안 됩니다.
우리가 정말로 필요한 것은 사람이 확인할 수 있는 내용입니다. 어떤 조건을 사용했는지, 어떤 공식이나 근거를 적용했는지, 필요한 중간 결과와 최종 답은 무엇인지입니다.
먼저 간단한 문제를 봅시다
코비 브라이언트와 마이클 조던은 같은 나라 출신인가요?
직접 답하고 확인할 수 있는 근거를 한 문장으로 제시하세요.
이 문제는 복잡하지 않습니다. 코비 브라이언트와 마이클 조던은 모두 미국 출신이므로 같은 나라 출신입니다.
이런 간단한 문제는 답과 필요한 사실 근거를 분명히 밝히면 충분합니다. 진지해 보이기 위해 긴 과정을 쓸 필요는 없습니다.
그렇다면 문제가 조금 더 복잡하면 어떨까요?
조금 더 복잡한 문제를 봅시다
세 사람이 사흘 동안 물 세 통을 마셨습니다.
모든 사람이 매일 같은 양의 물을 마신다고 할 때, 아홉 사람이 아흐레 동안 마시는 물은 몇 통일까요?
답을 바로 제시하세요.
“셋, 셋, 셋”과 “아홉, 아홉”에만 시선을 두면 겉으로 보이는 숫자만 보고 답하기 쉽습니다.
정말 그럴까요?
먼저 직접 계산해 봅시다.
세 사람이 사흘 동안 마시면 모두 9인일입니다. 물 세 통을 9인일로 나누면 한 사람은 하루에 1/3통을 마십니다.
아홉 사람이 아흐레 동안 마시면 모두 81인일입니다. 여기에 한 사람의 하루 사용량 1/3통을 곱하면 27통입니다.
따라서 겉으로 보이는 숫자만 바꿔 계산한 결과는 틀립니다. 정답은 27통입니다.
핵심 경로를 알려 주기
이런 문제에서 모델에 “신중하게 생각해 봐”라고만 말해도 도움이 되지 않을 수 있습니다.
무엇이든 할 수 있어 보이는 인턴과 일하는 상황과 비슷합니다. 복잡한 문제를 계속 풀지 못하는 이유가 능력이 전혀 없어서가 아니라 무엇을 먼저 보고 다음에 무엇을 계산해야 하는지 모르기 때문일 수 있습니다.
이때는 핵심 지도를 조금 제공해야 합니다.
Prompt를 다음과 같이 쓸 수 있습니다.
아래 문제를 계산하세요.
세 사람이 사흘 동안 물 세 통을 마셨습니다. 모든 사람이 매일 같은 양의 물을 마신다고 할 때, 아홉 사람이 아흐레 동안 마시는 물은 몇 통일까요?
다음 핵심 단계에 따라 계산하세요.
1. 세 사람이 사흘 동안 만든 총 인일 수를 계산합니다.
2. 한 사람이 하루에 마시는 물의 양을 계산합니다.
3. 아홉 사람이 아흐레 동안 만든 총 인일 수를 계산합니다.
4. 마지막으로 전체 사용량을 계산합니다.
답을 확인하는 데 필요한 공식과 중간 결과를 제시한 뒤 최종 답을 따로 쓰세요.
전체 내부 사고 과정은 출력하지 마세요.
확인할 수 있는 계산은 다음과 같습니다.
원래 상황의 총 인일 수: 3 × 3 = 9인일
한 사람의 하루 사용량: 3 ÷ 9 = 1/3통
목표 상황의 총 인일 수: 9 × 9 = 81인일
총 사용량: 81 × 1/3 = 27통
답: 27통
여기서 실제로 도움이 되는 것은 핵심 경로를 짚어 주고 공식과 중간 결과를 검산할 수 있게 하는 것입니다.
계산 근거와 최종 답을 나누기
왜 두 부분을 나눌까요?
답을 빠르게 보고 싶지만 의문이 생길 때는 근거로 돌아가 확인할 수도 있어야 하기 때문입니다.
그러나 “확인할 수 있는 계산 근거”는 모델의 전체 비공개 사고 과정과 같지 않습니다. 이 문제에서는 3 × 3 = 9인일, 3 ÷ 9 = 1/3통, 81 × 1/3 = 27통이면 검산하기에 충분합니다.
마지막으로 모델이 단계를 완전하게 썼다고 반드시 정답인 것은 아닙니다. 계산 문제는 계산기나 코드로 한 번 더 확인하고, 사실 문제는 원본 출처로 돌아가 확인하세요.
간단한 문제는 답과 필요한 근거를 분명히 씁니다.
복잡한 문제는 핵심 경로를 알려 주고 확인할 수 있는 근거와 최종 답을 나눕니다.
이전 장: XML 태그 제대로 활용하기
소개로 돌아가기: Prompt Engineering이란 무엇인가?
Independent product builder · AI, agents and real workflows.