긴 문서 여러 개를 AI에게 맡길 때: 쪼개서 요약하면 어디서 정보가 사라질까

문서를 하나씩 요약시키면 거의 다 보존되는데, 그 요약 3개를 합쳐 다시 요약시키면 날짜, 인원수, “~없었다” 같은 정보부터 사라졌습니다. 쪼개기의 약점은 쪼개는 단계가 아니라 합치는 단계였습니다.

어떻게 확인했나

가상의 “한빛시 스마트 물류센터” 보고서 3개(각 약 4,000자)를 만들었습니다. 문서마다 앞, 중간, 뒤에 확인할 수 있는 사실을 2개씩, 총 18개 심었고 정답을 실행 전에 기록했습니다. 문서 1과 2에는 총예산이 148억 5천만 원과 162억 원으로 다르게 적혀 있습니다.

• 방법 X: 파일 3개를 한 번에 올려 “요약과 모순 찾기”를 시킵니다. 보존 지시는 없습니다.
• 방법 Y: 새 대화마다 문서 1개씩 “숫자·이름·부정문을 보존하며 요약”시킨 뒤(1단계), 새 대화에 요약 3개만 붙여 통합 요약과 모순 찾기를 시킵니다(2단계).

기준일은 2026년 10월 19일입니다. 세 서비스 모두 새 대화(임시 채팅 또는 시크릿 채팅)에서 같은 요청문을 한 번씩 실행했습니다. 화면에 표시된 모델은 ChatGPT가 “Medium” 설정, Gemini가 “자동 모드”, Claude가 “Opus 5.5 높음”이었습니다. 서비스당 한 번씩 실행했고, 복합 사실(값이 둘 이상)은 모두 있어야 1점, 일부만 있으면 0.5점으로 채점했습니다.

결과 (18점 만점)

서비스	X: 한 번에 올림	Y 1단계: 문서별 요약	Y 2단계: 요약만 합침	모순 탐지 X / Y
ChatGPT	13.5	18	15	O / O
Gemini	12.5	18	15.5	O / O
Claude	18	18	17.5	O / O

위치별 보존 (3개 서비스 합계, 각 18점)	앞	중간	뒤
X	15.5	13	15.5
Y 통합	17	16	15

X에서는 중간에 있는 사실이 가장 많이 빠졌고, Y 통합에서는 뒤쪽이 가장 약했습니다. 서비스당 1회씩이라 경향 정도로만 보세요.

요약의 요약에서 사라진 정보

모두 1단계 요약에는 정확히 있었는데 통합 결과에서 사라진 것들입니다.

• ChatGPT: “점검 기간은 2026년 9월 7일부터 9월 18일까지이며 점검단장은 오세린이다”, “다음 점검 회의는 11월 5일 오후 2시에 3층 소회의실 B-가에서 열린다”가 통합 결과에서 사라졌습니다.
• ChatGPT: “하역장 지붕 공사는 우천에도 불구하고 지연되지 않았다”는 부정문이 통합 입력에는 있었지만 결과에 언급이 없습니다.
• Gemini: “외부 감사에서 안전 관리 분야의 지적 사항이 한 건도 없었다”가 삭제됐고, “센서 불량률 3.2%”의 수치와 “사전 신청자 340명”의 인원이 빠졌습니다.
• Claude: 회의 일정이 “11월 5일: 점검 회의”로만 남아 오후 2시와 장소가 빠졌고, 원문에 없던 연도 “2026년”이 붙었습니다.

그 밖에 눈에 띈 것

• 모순 찾기는 쪼개도 유지됐습니다. 두 예산 수치가 요약에 남아 있었기 때문입니다. 다만 Gemini는 “야간 방음벽 검토”와 “야간 근무 미도입”을 충돌한다고 단정했습니다. 모순이 아닌 것을 모순으로 단정한 사례입니다.
• 보존 지시를 넣으면 요약이 길어집니다. 요약 길이가 원문의 몇 %인지 재 보니 ChatGPT 약 70~96%, Claude 약 54~61%, Gemini 약 25~33%였습니다. 요약이 거의 줄지 않으면 통합 단계 입력도 줄지 않습니다.
• 예시 문구가 요약으로 새어 들어갔습니다. ChatGPT 요약에 “‘도입하지 않기로’라는 표현이 문서에 없다”는 문장이 들어갔는데, 보존 지시에 예시로 쓴 문구를 받아 적은 것이었습니다.
• Claude는 한 번에 올려도 18/18이었습니다. 한 번에 올리는 방식이 항상 나쁜 것은 아닙니다.

그래서 이렇게 하세요

1. 문서가 길거나 많으면 문서별로 먼저 요약하세요. 이번 실험에서 1단계 요약은 세 서비스 모두 18/18이었습니다.
2. 합치기 전에 숫자, 날짜, 장소, 인원, 부정문만 따로 표로 뽑아 두세요. 요약에서 가장 먼저 사라진 정보가 이것들이었습니다.
3. 통합 요약에서 중요한 줄은 원문 문장과 대조하세요. 사라진 정보뿐 아니라 원문에 없는 연도나 완료 표현이 붙는 경우도 있었습니다.
4. AI가 “모순”이라고 짚은 곳은 원문 두 군데를 직접 열어 보세요.

2번의 표 뽑기는 이번 실험에서 직접 돌려 보지 않은 제안입니다. 사라진 정보의 종류에서 추론했습니다.

합치기 전에 만들 표

1. 문서마다 숫자, 날짜, 장소, 인원, 퍼센트, 부정문을 표에 옮깁니다.
2. 같은 항목이 문서마다 다르게 적혔는지 한 줄씩 대조합니다.
3. 통합 요약을 요청할 때 이 표를 함께 붙이고, 표에 있는 값이 요약에 빠지지 않았는지 확인하라고 씁니다.
4. 요약에 원문에 없는 연도나 완료 표현이 붙지 않았는지 마지막에 봅니다.

이번 실험에서 요약 3개를 합친 결과는 날짜와 인원이 가장 먼저 빠졌습니다. 표를 먼저 만들어 두면 이 정보를 놓칠 가능성이 줄어듭니다.

자주 묻는 질문

Q. 문서가 두 개뿐이어도 나눠야 하나요?
A. 두 개라면 한 번에 올려도 괜찮았던 경우가 있었습니다. 다만 길이가 길어지면 나눠서 요약하는 편이 안전합니다.

Q. 요약에서 빠진 것을 찾는 가장 쉬운 방법은 무엇인가요?
A. 숫자와 부정문을 원문에서 찾아 요약에 같은 것이 있는지 보는 것입니다. 전체를 다시 읽는 것보다 빠릅니다.

요약 길이도 같이 재 보세요. 이번 실험에서 보존 지시를 넣자 요약이 원문에 가깝게 길어진 서비스가 있었습니다. 요약이 거의 줄지 않으면 통합 단계의 입력도 줄지 않아, 이 방법의 장점이 줄어듭니다.

합치기 단계에서는 “이 요약에 없는 내용은 쓰지 마세요”라는 한 줄을 넣어 두세요. 이번 실험에서 통합 요약에 원문에 없던 연도가 붙은 사례가 있었습니다. 이 한 줄만으로 모든 문제가 사라지지는 않지만, 빠져나가는 정보를 줄이는 데 도움이 됩니다.

문서가 여러 개일 때는 파일 이름과 발행일을 요약 첫 줄에 적게 하세요. 어느 문서에서 나온 내용인지 알 수 있어야 나중에 원문과 대조할 수 있습니다.

출처

• 직접 실험 결과입니다. 실험 조건은 본문의 자료와 조건 항목을 참고하세요.