AI가 엉뚱한 답을 낼 때 먼저 확인할 4가지

AI가 질문과 다른 말이나 틀린 말을 할 때, 무엇부터 확인해야 할까요? 같은 상황을 직접 재현해 보고, 먼저 확인할 4가지를 정리했습니다.

그래서 이렇게 하세요

1. 자료는 링크가 아니라 본문을 붙여넣습니다.
2. 요청 끝에 위의 두 줄 문구를 붙입니다.
3. 답변의 첫 문장을 먼저 읽습니다. “읽을 수 없다”, “명시되어 있지 않다” 같은 말이 있으면 그 뒤 내용은 조심해서 읽습니다.
4. 중요한 문장은 Ctrl+F로 원문에서 찾아봅니다.
5. 조건은 “3문장”, “40자 이내”처럼 숫자로 쓰고 직접 세어 봅니다.

위 내용을 한 번에 담은 요청문입니다. 복사해서 [ ] 안만 바꿔 쓰세요.

아래 문서를 읽고 [질문]에 [3문장]으로 답해줘. 각 문장은 공백 포함 [60자] 이내로 써줘.

문서에 근거가 있으면 근거가 된 문장을 큰따옴표로 그대로 인용해줘.

문서에서 확인되지 않으면 추측하지 말고 “원문에 명시 없음”이라고만 답해줘.

문서: (여기에 본문을 붙여넣기)

답이 의심스러우면 “방금 답의 근거가 된 문장을 문서에서 그대로 인용해줘. 찾을 수 없으면 원문에 명시 없음이라고 답해줘”라고 되물어 보세요. 다만 이번 실험에서는 틀린 답이 다시 나오지 않아, 되묻기의 효과는 확인하지 못했습니다.

바로 쓰는 문구

문서를 주고 질문할 때, 요청 끝에 아래 두 줄을 붙여 보세요.

문서에 근거가 있으면 근거가 된 문장을 큰따옴표로 그대로 인용해줘.

문서에서 확인되지 않으면 추측하지 말고 “원문에 명시 없음”이라고만 답해줘.

먼저 확인할 4가지

이런 증상이면	이것을 의심하세요	이렇게 해결하세요
링크를 줬는데 그럴듯한 요약이 나왔다	AI가 링크 내용을 못 읽었을 수 있습니다	링크 대신 본문을 복사해서 붙여넣고, “읽은 내용 중 한 문장을 인용해줘”라고 확인하세요.
문서에 없는 내용을 “문서에 따르면”이라고 말한다	자료에 없는 걸 물었고, AI가 원래 아는 지식으로 채웠을 수 있습니다	“문서에서 확인되지 않으면 원문에 명시 없음이라고만 답해줘”를 붙이세요.
맞는 말인지 확인할 방법이 없다	근거를 요구하지 않았습니다	“근거 문장을 그대로 인용해줘”를 붙이고, 인용문을 원문에서 검색하세요.
조건을 말했는데 안 지킨 것 같다	조건이 “짧게”, “간단히”처럼 세어 볼 수 없는 말이었을 수 있습니다	“3문장”, “40자 이내”처럼 숫자로 쓰고, 직접 세어 보세요.

1. AI가 내 자료를 읽을 수 있었나?

ChatGPT(로그인하지 않은 상태)에 “이 글을 읽고 핵심 3가지로 요약해줘”라며 링크를 줬습니다. 이 실험에는 아직 외부에 공개하지 않은 이 블로그의 글 주소를 썼습니다. 즉 AI가 열어 봐도 본문을 볼 수 없는 링크입니다.

ChatGPT는 첫 문장에서 “본문 대신 안내만 표시되어 글의 실제 내용을 읽을 수 없다”고 솔직하게 밝혔습니다. 하지만 그 뒤에 주소에 들어 있는 제목만 보고 “목적에 맞게 요청하기”, “나눠서 요약하기”, “원문과 대조하기”라는 일반적인 3가지를 요약처럼 내놓았습니다. 아래에 “해당 글의 직접 요약이 아니다”라는 안내도 있었지만, 첫 문장과 마지막 안내를 놓치면 이 3가지를 글의 내용이라고 오해하기 쉽습니다. 이 3가지는 실제 글의 내용과 다릅니다.

• 확인 방법: 답변 첫 문장을 읽으세요. “읽을 수 없다”, “확인하지 못했다”는 말이 있으면 그 뒤 내용은 요약이 아닙니다.
• 해결 방법: 링크 대신 본문을 복사해서 붙여넣으세요. 그리고 “읽은 내용 중 한 문장을 그대로 인용해줘”라고 요청하세요.

2. 자료에 없는 걸 물었나?

한국어 위키백과 「기계 학습」 문서(원문 보기)를 주고 이렇게 물었습니다.

질문: 이 문서에 따르면, “기계 학습”이라는 용어를 처음 만든 사람은 누구인가요?

이 문서에는 아서 새뮤얼이 1959년에 체커 게임 연구를 발표했다는 내용만 있고, 그가 용어를 처음 만들었다는 말은 없습니다. 따라서 문서 기준의 정답은 “문서에 없다”입니다. 결과는 도구마다, 그리고 같은 도구에서도 실행할 때마다 달랐습니다.

도구	조건 없이 물었을 때	조건을 붙였을 때
ChatGPT (로그인하지 않은 상태)	“문서에 따르면, 아서 새뮤얼입니다.” (7번 중 2번. 나머지 5번은 “문서에 명시되어 있지 않다”고 정확히 답함)	“원문에 명시 없음” (2번 모두)
Claude	“문서에는 처음 만든 사람이 나와 있지 않다”고 답하고, 문서 밖 일반 지식은 문서의 내용이 아니라고 구분함 (1번)	실행하지 않음
Gemini	“문서에는 처음 만든 사람에 대한 내용이 포함되어 있지 않다” (1번)	실행하지 않음

이 실수는 알아채기 어렵습니다. 첫째, 매번 나타나지 않습니다. 같은 질문을 7번 했을 때 2번만 틀렸고 5번은 정확히 답했습니다. 둘째, 답이 틀린 정보가 아니라 출처가 바뀐 정보이기 때문입니다. AI가 원래 알고 있던 지식을 문서의 내용인 것처럼 말했습니다. 한편 같은 문서에 “한국의 기계 학습 시장 규모는 얼마인가요?”라고 물었을 때는 ChatGPT도 “수치가 제시되어 있지 않다”고 정확히 답했습니다. 아는 척할 만한 지식이 있는 질문일 때 문서 밖의 말이 섞였습니다.

• 확인 방법: “문서에 따르면”이라는 말이 나오면, 그 내용을 Ctrl+F로 원문에서 찾아보세요.
• 해결 방법: 요청 끝에 “문서에서 확인되지 않으면 추측하지 말고 원문에 명시 없음이라고만 답해줘”를 붙이세요.

3. 확인할 근거를 요구했나?

근거 없는 답은 맞는지 확인하기 어렵습니다. 앞선 두 글에서 같은 문서를 요약할 때 “요약해줘”만 쓰면 원문에 없는 용어가 섞였는데도 찾기 어려웠습니다. 반대로 “근거 문장을 그대로 인용해줘”라고 요청하자 세 도구가 붙인 근거 문장 28개가 모두 원문과 일치했습니다. 자세한 내용은 요약 방법과 도구 비교 글에 있습니다.

• 확인 방법: 근거 문장을 복사해서 원문에서 Ctrl+F로 검색하세요. 찾아지지 않으면 AI가 바꾸거나 지어낸 문장입니다.

4. 조건을 세어 볼 수 있게 썼나?

“짧게 써줘”는 짧은지 아닌지 사람마다 다릅니다. 반면 “3문장”, “40자 이내”는 세어 볼 수 있습니다. ChatGPT(로그인하지 않은 상태)에게 숫자 조건을 줘 봤습니다.

요청	결과
“기계 학습을 중학생에게 정확히 3문장으로 설명해줘. 각 문장은 공백 포함 40자 이내로.”	3문장, 각 문장 29~31자로 조건을 모두 지켰습니다.
“지금부터 모든 답변은 두 문장 이내로 하고, 맨 끝에 ‘끝’을 붙여줘.” 이후 관련 없는 질문 8개를 연달아 질문	8개 답변 모두 두 문장 이내였고, 모두 끝에 “끝”이 붙어 있었습니다.

이번에는 AI가 조건을 잘 지켰습니다. 다만 “두 문장 이내”만 정했더니, 한 문장에 여러 내용을 이어 붙여서 답변이 한 개당 약 160~200자로 길어졌습니다. 조건을 지킨다고 읽기 좋은 답이 나오는 것은 아니니, 문장당 글자 수까지 정하는 것이 좋습니다.

• 확인 방법: 문장 수와 글자 수를 직접 세어 보세요.
• 해결 방법: “짧게” 대신 “3문장”, “문장당 40자 이내”처럼 숫자로 쓰세요.

한계와 주의할 점

• 실행 횟수가 적습니다. 링크 테스트와 숫자 조건 테스트는 ChatGPT에서 1번씩, 문서에 없는 질문은 ChatGPT에 조건 없이 7번, 조건을 붙여 2번 물었고, Claude와 Gemini는 각 1번 물었습니다. 같은 요청도 할 때마다 답이 달라질 수 있습니다.
• ChatGPT는 로그인하지 않은 상태에서 실험했습니다. 화면에 모델명이 표시되지 않았고, 로그인한 계정이나 유료 요금제에서는 결과가 다를 수 있습니다. 도구의 우열을 말하는 글이 아닙니다.
• 이번에 재현하지 못한 문제도 많습니다. 최신 정보 질문, 계산 오류, 이미지나 파일 읽기 오류 등은 확인하지 않았습니다.
• 중요한 내용은 원문을 꼭 확인하세요.

정리

• AI는 모르는 것을 모른다고 하지 않고, 아는 말로 채울 때가 있습니다.
• 링크나 파일은 AI가 읽었는지 먼저 확인하고, 불안하면 본문을 붙여넣으세요.
• “원문에 명시 없음” 문구와 “근거 문장 인용” 문구를 요청 끝에 붙이세요.
• 조건은 숫자로 쓰고 직접 세어 보세요.

실험 환경

• 날짜: 2026년 10월 17일
• 도구: ChatGPT(로그인하지 않은 상태), Claude(시크릿 대화), Gemini(임시 채팅). 서비스는 자주 바뀌므로 이 날짜 기준으로 읽어 주세요.
• 문서: 한국어 위키백과 「기계 학습」 (원문, CC BY-SA 4.0)

다음에 읽으면 좋은 글

• AI 요약, “요약해줘”만 쓰면 놓치는 것들
• 문서 요약용 AI 도구, 고르는 기준