AI가 준 출처 링크, 믿기 전에 확인할 5가지

AI에게 “출처 링크와 함께 알려줘”라고 하면 링크도 같이 줍니다. 그런데 그 링크는 정말 열릴까요? ChatGPT, Gemini, Claude가 준 링크를 하나씩 열어서 확인했습니다.

그래서 이렇게 하세요

1. 링크를 눌러서 열고 제목과 날짜를 읽습니다. 열리는데도 “페이지를 찾을 수 없습니다”가 보이는 경우가 있었습니다.
2. AI가 말한 숫자를 Ctrl+F로 페이지에서 찾습니다. 페이지가 열리고 주제가 비슷해도 AI가 말한 숫자가 없는 경우가 있었습니다.
3. 자료 제목을 따옴표로 묶어 검색합니다. 링크가 죽어 있어도 자료가 실제로 있는지, 발행 기관이 맞는지 알 수 있습니다.
4. 발행일과 기준 연도를 봅니다. “최근 자료”를 부탁했는데 2~3년 전 자료가 나올 수 있습니다.
5. PDF나 다운로드 링크는 따로 열어 봅니다. 상세 페이지는 열리는데 PDF 링크만 오류가 난 경우가 있었습니다.

질문할 때 아래 문구를 끝에 붙이면 도움이 됩니다. 이번 실험에서 안전 문구를 붙인 답은 링크가 더 잘 열렸고(Gemini는 대신 오래된 자료가 늘었습니다), Claude와 ChatGPT는 “열어 보지 못했다”고 솔직하게 말하는 경우가 늘었습니다.

확실하지 않은 출처는 ‘확인 불가’라고 쓰고, 링크는 실제로 열어 본 것만 적어줘. 못 열어봤으면 못 열어봤다고 말해줘.

실험: 세 도구에 같은 질문

세 도구에 같은 질문을 했습니다.

국내 재택근무 도입 현황에 대한 최근 연구나 통계 자료 3개를 출처 링크(URL)와 함께 알려줘. 링크는 클릭하면 바로 열리는 주소여야 해.

받은 링크는 프로그램으로 접속 상태(HTTP 상태 코드)를 확인하고, 직접 브라우저에서 열어 제목, 날짜, 핵심 숫자를 대조했습니다.

도구	링크 결과	문제점
Claude	3개 중 2개 정상, 1개 문제	세 번째 링크는 접속은 되지만(상태 코드 200) 화면에는 “요청하신 페이지를 찾을 수 없습니다”가 떴습니다. 그 연구는 실제로 있고 숫자도 맞았는데, 발행 기관은 중소벤처기업부가 아니라 중소벤처기업연구원이었습니다.
Gemini	3개 중 1개 정상, 2개 문제	첫 번째 링크는 열렸지만 AI가 말한 “114만 명(5.4%)” 같은 숫자가 페이지에 없었습니다(2023년 우수사례집 보도자료). 세 번째 링크는 열리고 내용도 맞지만 게시일이 2022년 3월이었습니다. 두 문제 모두 경고가 없었습니다.
ChatGPT	링크 5개 중 4개 정상, 1개 문제	한국은행 자료의 PDF 링크가 브라우저에서 HTTP 400 오류였습니다. 같은 자료의 상세 페이지 링크는 정상이었습니다.

안전 문구를 붙였더니

• Claude: “열어 보지 못했다”, “확인 불가”라는 표현이 훨씬 많아졌습니다. 다만 “서지 페이지를 열었다”고 한 링크 하나가 제가 열어 보니 “상세자료가 존재하지 않습니다”라고 나왔습니다.
• Gemini: 세 링크 모두 열렸고 숫자도 맞았습니다. 하지만 3개 중 2개가 2020~2021년 자료였고, 항목마다 “링크 정상 확인 완료”만 반복할 뿐 “확인 불가”나 “못 열었다”는 말은 한 번도 하지 않았습니다.
• ChatGPT: 세 링크 모두 열렸고 숫자도 맞았습니다. “PDF 첨부파일은 직접 열람하지 못했으므로 구체적인 수치는 확인 불가”라고 분명하게 밝혔습니다.

결과를 어떻게 읽을까

• HTTP 상태 코드만으로는 부족했습니다. 프로그램으로 접속 상태만 확인하는 방법으로는 “200이지만 오류 화면”인 링크와 “열리지만 숫자가 없는” 링크 2건을 놓쳤습니다. 사람이 열어서 읽어야 했습니다.
• 가장 많이 걸러낸 것은 “링크를 열어서 읽는 것”이었습니다. 두 번의 질문에서 찾은 문제 5건 중 3건(오류 화면, 깨진 PDF, 자료 없음)을 이 방법으로 잡았고, 오래된 자료는 날짜를 읽어서, 숫자 불일치는 Ctrl+F로만 잡았습니다.
• AI가 “확인했다”고 말해도 제가 다시 열어 봐야 했습니다. 도구가 실제로 링크를 열어 봤는지는 밖에서 알 수 없습니다.

한계와 주의할 점

• 도구마다 안전 문구 없이 한 번, 있이 한 번만 실행했습니다. 같은 질문도 할 때마다 결과가 달라질 수 있습니다.
• 세 도구 모두 웹 검색을 쓴 흔적이 있었습니다. 검색이 꺼진 상태에서는 결과가 다를 수 있고, 이번에는 확인하지 않았습니다.
• 로그인하지 않은 ChatGPT와 임시 채팅을 썼습니다. 모델명과 요금제가 화면에 표시되지 않은 경우가 있어 도구의 우열을 말하는 글이 아닙니다.
• “재택근무 현황”이라는 질문 하나로 한 실험입니다. 주제와 기간에 따라 결과가 다를 수 있습니다.

정리

• AI가 준 출처는 지어낸 것보다 주소 오류, 기관명 오류, 오래된 자료가 더 흔했습니다.
• 링크는 누르고, 제목과 날짜를 읽고, 숫자는 Ctrl+F로 찾고, 자료 제목은 검색하세요.
• 질문 끝에 “열어 본 것만 적고, 못 열었으면 못 열었다고 말해줘”를 붙이세요.

실험 환경

• 날짜: 2026년 10월 18일
• 도구: ChatGPT(로그인하지 않은 상태), Claude(시크릿 대화, “Opus 5.5 높음”), Gemini(임시 채팅, 자동 모드). 서비스는 자주 바뀌므로 이 날짜 기준으로 읽어 주세요.
• 질문: 위에 적은 문장 그대로 세 도구에 동일하게 입력

다음에 읽으면 좋은 글

• AI가 엉뚱한 답을 낼 때 먼저 확인할 4가지
• AI 요약, “요약해줘”만 쓰면 놓치는 것들

출처

• 직접 실험 결과입니다. 실험 조건은 본문의 자료와 조건 항목을 참고하세요.