같은 질문을 ChatGPT에게 3번 반복해서 물어보면 매번 똑같은 답변이 나올까요?
생각해보면 간단한 질문이지만, 실제로 테스트해보면 꽤 흥미로운 결과를 확인할 수 있습니다.
이번에는 ChatGPT에게 완전히 동일한 질문을 3번 연속으로 입력해봤습니다.
테스트 방법
테스트 조건은 최대한 단순하게 만들었습니다.
- 동일한 질문을 3회 입력
- 질문의 문장과 띄어쓰기까지 동일하게 유지
- 별도의 추가 설명이나 조건을 넣지 않음
- 각각의 답변에서 핵심 내용과 표현을 비교
예를 들어 다음과 같은 질문을 반복했습니다.
“혼자 할 수 있는 취미 5가지를 추천해주세요.”
1. 같은질문하기 첫번째
2. 같은질문하기 두번째
3. 같은질문하기 세번째
정말 똑같은 답변이 나올까?
결과부터 말하면 완전히 똑같지는 않았습니다.
답변의 핵심적인 내용은 상당히 비슷했지만 문장의 구성이나 예시, 설명 순서 등에서는 차이가 나타날 수 있습니다.
이 테스트에서 알 수 있는 것
이번 실험을 통해 확인할 수 있는 중요한 점은 ChatGPT의 답변을 한 번 받았다고 해서 그것이 유일한 정답이라고 생각하면 안 된다는 것입니다.
같은 질문을 다시 입력했을 때 다른 표현이나 다른 관점이 나올 수 있기 때문입니다.
오히려 이것을 활용하면 재미있는 테스트도 할 수 있습니다.
결론
ChatGPT에게 같은 질문을 5번 했다고 해서 항상 똑같은 답변이 나오는 것은 아닙니다.
다만 중요한 사실을 묻는 질문이라면 핵심적인 내용은 비슷하게 유지되는 경우가 많고, 개방적인 질문일수록 표현이나 예시, 구성에 차이가 나타날 수 있습니다.
따라서 이 테스트는 단순히 “답변이 똑같다 / 다르다”를 확인하는 것보다,
“같은 질문에 대해 핵심 내용은 얼마나 일관되게 유지하면서 표현은 얼마나 다양하게 생성하는가?”
를 확인하는 테스트로 활용하면 더욱 재미있습니다.
특히 같은 질문을 5번 입력하고 결과를 표로 정리해보면 ChatGPT 답변의 일관성과 변동성을 직접 확인할 수 있는 간단한 실험이 됩니다.