긴 PDF를 올리고 “요약해줘”만 쓰면 AI가 무엇을 빼먹었는지 알 수 없습니다. 질문 순서만 바꿔도 빠진 부분과 지어낸 부분을 훨씬 쉽게 찾을 수 있습니다.
결론부터
1. 먼저 요약하지 말고 문서의 구조(목차, 쪽수, 표 개수)부터 말하게 하세요. 파일을 제대로 읽었는지 가장 빨리 확인됩니다.
2. 질문마다 “문서에 없으면 없다고 답해 줘”와 “근거 쪽 번호를 같이 줘”를 붙이세요.
3. 마지막에 “이 요약에서 틀리거나 빠졌을 만한 곳을 찾아 줘”로 되묻고, 중요한 숫자는 원문에서 직접 확인하세요.
그래서 이렇게 하세요
아래 요청문을 순서대로 복사해 쓰세요. 대괄호 안은 내 상황에 맞게 바꿉니다.
- 1단계, 구조 확인.
이 PDF의 전체 쪽수, 목차(또는 큰 제목), 표와 그림 개수를 알려줘. 읽지 못한 쪽이 있으면 쪽 번호로 알려줘.
쪽수나 목차가 실제와 다르면 파일을 제대로 읽지 못한 것입니다. 스캔본이면 파일을 못 읽을 때 글을 먼저 보세요. - 2단계, 범위와 규칙 정하기.
이 문서에 적힌 내용만 근거로 답해줘. 문서에 없으면 "문서에 없음"이라고 말하고, 답마다 근거가 되는 쪽 번호를 붙여줘. - 3단계, 쪼개서 요약하기.
[3~7쪽] 구간만 요약해줘. 숫자와 날짜는 원문 그대로 표로 정리해줘.
한 번에 전체를 요약하는 것보다 구간별이 놓친 곳을 찾기 쉽습니다. - 4단계, 핵심 질문하기.
이 문서에서 [내가 결정해야 할 일]에 영향을 주는 내용만 골라줘. 각각 근거 쪽 번호와 원문 문장을 그대로 인용해줘. - 5단계, 반박 확인하기.
방금 요약에서 원문과 다르거나 빠졌을 가능성이 있는 부분을 스스로 찾아줘. 확신이 낮은 문장에 표시해줘.
AI가 지적한 부분과 숫자는 원문 쪽 번호를 열어서 직접 대조하세요.
직접 해 본 결과
12쪽짜리 가상의 사내 복지 보고서(텍스트만 있고 표·그림은 없음)를 만들어 ChatGPT(Plus, 임시 채팅)에 올렸습니다. 문서 안에는 일부러 “12월 이후 신청분은 예산 소진 시 지급하지 않을 수 있다”, “여러 헬스장에 등록해도 한 곳만 인정” 같은 예외 조항을 9쪽에 숨겨 두었고, 목차에서는 “집행 현황”을 뺐습니다.
| 요청 | 결과 |
|---|---|
| “요약해줘” 한 줄 | 핵심 수치와 9쪽의 예외 두 가지를 모두 포함했고 숫자도 맞았습니다. 다만 부탁하지 않은 “시사점·분석”을 덧붙였고(예: 집행률 24.1%를 “낮은 수준”으로 평가), 쪽 번호는 없었습니다. 문서에 없는 비율(만족도 77.9%)은 계산해서 넣었습니다. |
| 문서에 없는 질문(“육아휴직 중 지원금은?”) | 규칙을 붙이지 않았는데도 “정보 부족”이라고 답하고, 문서에 있는 지원 기준만 정리해 주었습니다. |
| 1단계 구조 확인 | 12쪽 모두 읽었고 표·그림은 0개라고 답했습니다. 2쪽 목차에 “집행 현황”이 빠져 있다는 점도 짚어냈습니다. |
| 2단계 규칙 + 쪽 번호 질문 | “12월 신청”과 “두 헬스장 등록” 질문에 3, 6, 7, 9쪽을 근거로 달았고, 확인해 보니 모두 실제 내용과 맞았습니다. 문서에 없는 기준은 “문서에 없음”으로 표시했습니다. |
이 글의 판단: 이 정도로 짧고 깔끔한 문서에서는 “요약해줘” 한 줄도 꽤 정확했습니다. 질문 순서가 만든 가장 큰 차이는 정확도보다 확인 속도였습니다. 쪽 번호가 붙어 있으면 원문에서 바로 대조할 수 있습니다. 구조 확인 단계도 파일이 제대로 읽혔는지 30초 만에 알려 줬습니다. 반대로 스캔본, 표가 많은 문서, 아주 긴 문서에서는 결과가 다를 수 있습니다.
테스트에 쓴 문서는 한 건, 서비스는 ChatGPT 하나, 시도도 한 번씩입니다. 다른 서비스에서의 결과는 확인하지 않았습니다.
왜 이 순서일까요
| 단계 | 막아 주는 실수 |
|---|---|
| 구조 확인 | 파일 일부만 읽고 전체를 읽은 척하는 경우 |
| 범위와 규칙 | 문서에 없는 내용을 그럴듯하게 채우는 경우 |
| 쪼개서 요약 | 긴 문서 중간 부분이 흐려지는 경우 |
| 핵심 질문 | 중요한 내용이 요약 속에 묻히는 경우 |
| 반박 확인 | 틀린 숫자와 날짜가 그대로 남는 경우 |
문서 종류별로 바꿔 쓰는 요청문
| 문서 종류 | 2단계(규칙)에 덧붙일 말 | 이유 |
|---|---|---|
| 계약서·약관 | “의무, 금액, 기한, 예외 조항을 따로 표로 정리하고 각각 쪽 번호를 달아줘” | 예외 조항이 뒤쪽에 숨어 있는 경우가 많음 |
| 보고서·실적 자료 | “숫자는 원문 그대로 옮기고, 네가 계산한 값은 따로 표시해줘” | AI가 계산한 비율이 원문 수치처럼 섞이는 것을 막음 |
| 논문 | “연구 방법, 표본 수, 한계점을 문서 문장 그대로 인용해줘” | 결론만 요약하면 한계가 사라짐 |
| 매뉴얼·규정집 | “내 상황([상황])에 해당하는 조항만 찾아줘. 해당 조항이 없으면 없다고 말해줘” | 없는 조항을 지어내는 것을 막음 |
이럴 땐 의심하세요
- 쪽수가 다르게 나올 때. 파일 일부만 읽었을 수 있습니다. 같은 파일을 다시 올리거나 파일을 나눠 올려 보세요.
- 표 안의 숫자를 줄줄이 말해 줄 때. 표는 글보다 잘못 읽는 일이 잦습니다. 숫자는 원문 쪽에서 직접 대조하세요.
- 근거 쪽 번호가 계속 같은 쪽만 나올 때. 한 구간만 읽고 답하고 있을 수 있습니다. 구간을 지정해 다시 요청하세요.
- “문서에 없음”이 한 번도 안 나올 때. 문서 밖 지식으로 채우고 있을 가능성이 있습니다. 일부러 문서에 없는 질문을 하나 섞어 확인해 보세요.
숫자를 원문과 대조하는 법
- AI가 말한 숫자와 쪽 번호를 메모합니다.
- PDF 뷰어에서 해당 쪽을 열고 검색 기능(Ctrl+F)으로 숫자를 찾습니다.
- 숫자가 같은 문장에 있는지, 단위와 기준일(예: 9월 30일 기준)이 같은지 봅니다.
- AI가 계산한 값이면 원문 숫자로 직접 다시 계산해 봅니다.
아직 모르는 것
- 서비스마다 한 번에 읽을 수 있는 분량이 다르고 수시로 바뀝니다. 내 파일이 너무 길면 구간을 나눠 올리세요.
- 표와 그림 속 숫자는 글보다 잘못 읽을 가능성이 큽니다. 중요한 표는 원문에서 직접 확인하세요.
- 반박 확인 단계도 AI가 하는 일이라 완전하지 않습니다. 최종 확인은 사람이 해야 합니다.
답글 남기기