자료가 둘 이상이면 AI는 그럴듯하게 하나로 합쳐 버립니다. 합치기 전에 주장별로 어느 자료가 뭐라고 했는지 표로 먼저 만들게 하면 서로 어긋난 부분이 드러납니다.
결론부터
1. 요약보다 먼저 “주장 × 자료” 대조표를 만들게 하세요.
2. 자료마다 번호를 붙이고, 모든 주장 뒤에 번호와 원문 문장을 달게 하세요.
3. AI가 “일치”라고 한 칸 중 숫자와 날짜가 있는 칸은 원문에서 직접 확인하세요.
1단계. 자료에 번호를 붙여 넣으세요
자료마다 [자료1], [자료2]처럼 이름표를 붙이고, 출처 이름과 발행일을 같이 적습니다. 번호가 있어야 AI가 근거를 가리킬 수 있습니다.
2단계. 주장을 먼저 뽑게 하세요
아래 [자료1]~[자료3]에서 각각 핵심 주장을 5개씩 뽑아 주세요.
- 각 주장은 한 문장으로 쓰고, 근거가 된 원문 문장을 따옴표로 붙이세요.
- 자료에 없는 내용은 쓰지 마세요.3단계. 대조표를 만들게 하세요
뽑은 주장들을 주제별로 묶어 표로 만들어 주세요.
열: 주제 | 자료1 | 자료2 | 자료3 | 판정(일치/부분 일치/충돌/한 곳만 언급)
자료가 언급하지 않은 칸은 "언급 없음"으로 쓰세요.4단계. 충돌한 칸만 따로 파세요
판정이 “충돌”인 줄만 골라 이유를 묻습니다. 날짜 기준이 다른지, 집계 범위가 다른지, 단순 오류인지 구분하게 하세요.
"충돌"로 판정한 항목마다 아래를 답해 주세요.
1) 서로 다른 값이 정확히 무엇인지
2) 기준(날짜, 범위, 단위)이 달라서 생긴 차이일 가능성
3) 어느 쪽이 맞는지 판단하려면 무엇을 확인해야 하는지
어느 쪽이 맞는지 추측해서 단정하지 마세요.5단계. 사람이 확인할 곳을 정하세요
- 숫자, 날짜, 고유명사가 들어간 칸은 원문에서 직접 확인합니다.
- “일치”로 나온 칸도 한두 곳은 원문과 대조해 AI의 판정 기준을 파악합니다.
- 자료들이 같은 원출처를 인용했다면 일치해도 독립 확인이 아닙니다.
- AI의 최종 요약에는 대조표에 있는 내용만 들어갔는지 마지막에 훑어보세요.
직접 해 봤더니: 한 줄 요약과 5단계의 차이
가상 회사의 전기 스쿠터 출시를 다룬 가짜 자료 3개(기사 2개, 보도자료 1개)에 차이 6개를 심어 두고, “세 자료를 하나로 요약해 줘”(P)와 이 글의 단계(Q)를 ChatGPT, Gemini, Claude에 각각 한 번씩 시켰습니다. 2026년 10월 19일, 새 대화에서 실행했고 표시된 모델은 ChatGPT가 추론 수준 Medium, Gemini가 자동 모드, Claude가 Opus 5.5 높음입니다.
| 심은 차이 | 내용 |
|---|---|
| D1 가격 | 한 기사만 199만 원, 나머지는 189만 원 |
| D2 출시일 | 한 기사만 11월 3일, 나머지는 11월 10일 |
| D3 조건이 다른 수치 | 주행거리 80km, 65km, 80km (측정 조건이 다름) |
| D4 한 곳만 있는 정보 | 2024년 전작 리콜 이력이 기사 한 곳에만 있음 |
| D5 같은 원출처 | “연내 2만 대 생산”은 두 기사가 보도자료를 인용한 것 |
| D6 표현만 다른 항목 | 배터리 보증이 “3년”, “36개월”, “3년간” |
| 짚은 차이 (6개 중) | 한 줄 요약 P | 5단계 Q |
|---|---|---|
| ChatGPT | 4 | 5 |
| Gemini | 4 | 5 |
| Claude | 6 | 6 |
- 단계를 거치자 좋아진 곳은 D4입니다. 한 줄 요약에서 ChatGPT와 Gemini는 리콜 이력을 서술했지만 “한 기사에만 나온 내용”이라는 표시가 없었습니다. 대조표의 “한 곳만 언급” 판정에서 드러났습니다.
- D5는 대조표를 써도 ChatGPT와 Gemini가 놓쳤습니다. 둘 다 표에 “보도자료 인용”이라고 적고도 판정은 “일치”로 냈습니다. 판정 선택지(일치, 부분 일치, 충돌, 한 곳만 언급)에 “일치하지만 독립 확인이 아님”을 넣을 자리가 없기 때문으로 보입니다. Claude는 한 줄 요약에서도 독립 근거가 없다고 스스로 말했습니다.
- 조건이 다른 수치(D3)와 표현만 다른 항목(D6)은 6개 조합 모두 충돌로 오판하지 않았습니다. 차이가 아닌 것을 충돌로 단정한 경우는 0건이었습니다.
- “추측으로 단정하지 말라”는 문구를 넣어도 Gemini는 4단계에서 원인을 3건 단정했습니다. “주행 측정 조건의 차이 때문입니다”, “이상적인 사내 시험 조건”(원문에 없는 표현) 같은 문장입니다. ChatGPT와 Claude는 “확인 불가”와 “(후보)”를 구분해 썼습니다.
- 대조표의 숫자와 날짜 칸은 안전했습니다. “일치”로 판정한 칸 중 최고속도, 보증, 생산 계획 9칸이 세 서비스 모두 원문과 같았습니다. 오히려 요약 문장에서 문제가 났습니다. Gemini는 “회사 측 설명이다”라는 원문을 “케이블 방식을 변경하여 결함 문제를 개선하였습니다”라는 사실처럼 바꿨습니다.
- ChatGPT는 4단계에서 표가 8행인데 “총 9개 행”이라고 쓰는 집계 오류도 냈습니다.
이 결과로 3단계 요청문에 한 줄을 더 넣는 것을 권합니다. “서로 인용한 자료는 같은 출처로 묶고, 판정 옆에 독립 출처 수를 적어 줘.” 이 문구는 이번 실험 뒤에 생각한 것이라 아직 돌려 보지 않았습니다. 같은 가짜 자료로 시험할 때 D5를 짚는지 확인해 보세요.
이 방법이 잘 맞는 상황
- 뉴스 기사 여러 개로 한 사건을 이해할 때
- 보고서와 공식 문서의 수치가 다를 때
- 제품이나 서비스 사양을 여러 페이지에서 모을 때
주의할 점
긴 자료를 한꺼번에 넣으면 뒷부분을 놓칠 수 있습니다. 자료가 많으면 2단계를 자료별로 따로 돌린 뒤 결과만 모아 3단계로 가세요. AI가 만들어 준 출처 링크는 실제로 열리는지 먼저 확인하세요.
자료 대조를 할 때 자주 묻는 질문
Q. 자료가 두 개뿐이어도 대조표를 만들어야 하나요?
A. 두 개라도 숫자나 날짜가 겹치면 대조표가 유용합니다. 요약 한 줄로 바로 합치는 것보다 어긋난 곳이 잘 보입니다.
Q. AI가 “충돌 없음”이라고 하면 믿어도 되나요?
A. 이번 실험에서는 같은 원출처를 인용한 두 기사를 독립 확인으로 판정한 사례가 있었습니다. 원출처가 같은지 따로 확인하세요.
대조표를 처음 만들면 판정 칸에서 헷갈리기 쉽습니다. “일치”, “부분 일치”, “충돌”, “한 곳만 언급”의 기준을 한 줄씩 요청문에 적어 두면 서비스마다 판정 기준이 맞춰집니다. 이번 실험에서도 “일치”와 “부분 일치”의 경계에서 서비스마다 판단이 달랐습니다.
Q. 요약은 짧을수록 좋은가요?
A. 요약은 대조표에 있는 내용만 담기면 충분합니다. 짧게 줄이려고 중요한 수치를 빼면 대조의 의미가 없어집니다.
대조표는 자료가 늘어날수록 행이 많아집니다. 한 번에 다섯 가지 주제 이하로 나눠서 만들면 사람이 검토하기 쉽습니다.
출처
- 직접 실험 결과입니다. 실험 조건은 본문의 자료와 조건 항목을 참고하세요.
답글 남기기