합계 계산, 일정 정리, 문의 분류, 메일 초안, 계약서 검토, 데이터 정리. 사무 업무 6가지를 가짜 자료로 만들어 세 서비스에 똑같이 시켰더니 거의 만점이 나왔습니다. 틀린 곳은 계산이 아니라 애매한 경계였습니다.
결론부터
1. 입력이 짧고 정답이 분명한 업무는 세 서비스 모두 거의 만점이었습니다. 6개 업무, 서비스 3곳 중 오답은 두 곳, 모두 Gemini였습니다.
2. 틀리는 방식은 계산 오류나 누락이 아니라 애매한 건에 다른 라벨 붙이기, 멀쩡한 값 과하게 의심하기, 요청에 없는 말 덧붙이기였습니다.
3. 맡길지 말지는 “AI가 잘하나”가 아니라 “틀렸을 때 내가 알아챌 수 있나”로 정하세요.
어떻게 확인했나
업무마다 가짜 자료를 만들고, 실행하기 전에 정답을 파일로 먼저 확정했습니다. 숫자 합계의 정답은 코드로 따로 계산했습니다.
기준일은 2026년 10월 19일입니다. 세 서비스 모두 새 대화(임시 채팅 또는 시크릿 채팅)에서 같은 요청문을 한 번씩 실행했습니다. 화면에 표시된 모델은 ChatGPT가 “Medium” 설정, Gemini가 “자동 모드”, Claude가 “Opus 5.5 높음”이었습니다. 업무마다 한 번씩만 실행했고, Gemini의 데이터 정리만 한 번 더 돌렸습니다.
| 업무 | 자료 | 채점 방법 |
|---|---|---|
| 1 일정 정리 | 회의 메모 12줄 | 담당자별 마감일 표, 12칸 |
| 2 숫자 합계 | 지출 내역 25줄(환불 -12,000원 포함) | 카테고리 5개와 전체 합계, 6칸 |
| 3 문의 분류 | 고객 문의 20건(애매한 3건 포함) | 라벨 4개 중 하나, 20건 |
| 4 메일 초안 | 조건 5가지(길이, 어조, 날짜 포함 등) | 조건별 충족 여부 |
| 5 위험 조항 | 계약서 조항 10개(위험 조항 3개 심음) | 찾은 개수와 잘못 짚은 개수 |
| 6 데이터 정리 | 연락처 15줄 | 전화번호와 날짜 형식 통일, 30칸 |
결과
| 업무 | ChatGPT | Gemini | Claude |
|---|---|---|---|
| 1 일정 정리 (12점) | 12 | 12 | 12 |
| 2 숫자 합계 (6칸) | 6 | 6 | 6 |
| 3 문의 분류 (20건) | 20 | 19 | 20 |
| 4 메일 조건 (5개) | 4~5 | 5 | 5 |
| 5 위험 조항 (3개) | 3, 오탐 0 | 3, 오탐 0 | 3, 오탐 0 |
| 6 데이터 정리 (30칸) | 30 | 29 | 30 |
업무 4의 ChatGPT는 “안녕하십니까.”로 시작해, “~습니다/~합니다” 조건을 엄격하게 읽으면 4점, 느슨하게 읽으면 5점입니다.
틀린 곳, 그리고 틀리지 않았지만 걸린 곳
- Gemini, 문의 분류 17번. “결제는 됐는데 주문내역에 안 떠요. 상품은 언제 발송되나요?”를 정답인 ‘배송’이 아니라 ‘결제오류’로 분류했습니다. 고객이 실제로 묻는 것(발송 시점)보다 앞에 나온 문제에 끌렸습니다.
- Gemini, 데이터 정리 10번. 하이픈이 없는
01001234567은 010-0123-4567로 바꾸면 되는데 ‘확인 필요’로 남겼습니다. 다시 돌려도 같았습니다. 틀린 번호를 채운 것이 아니라 과하게 조심한 쪽의 오류입니다. - Claude, 메일 초안. 요청에 없는 “확정되었습니다”와 “생산과 출하 과정을 철저히 점검하겠습니다”를 넣었습니다. 지어낸 약속에 가깝습니다.
- Claude, 계약서 검토. 위험 조항 3개는 모두 찾았지만, 설명에 계약서에 없는 “선금·중도금 없이 일시 지급”을 붙였습니다.
- Gemini, 메일 초안. 제목에 “일점 안내”라는 오타(일정)가 있었습니다.
덧붙이면, 업무 1과 2에서 Claude는 행 순서를 담당자별, 금액순으로 바꿔서 냈습니다. 값은 맞지만 원본과 한 줄씩 대조하려면 불편합니다. 순서를 유지하라고 요청문에 적어야 합니다.
그래서 이렇게 판단하세요
이번에는 “절대 맡기지 말 것”으로 분류할 업무가 나오지 않았습니다. 자료가 작고 정답이 분명해서 세 서비스 모두 점수가 높았기 때문입니다. 그래서 판단 기준을 정확도가 아니라 오류를 알아챌 수 있는 정도로 잡았습니다.
| 업무 | 이번 결과 | 권장 |
|---|---|---|
| 숫자 합계 (25줄, 항목이 이미 나뉨) | 3곳 모두 6/6 | 그대로 써도 됨. 합계는 한 번 검산 |
| 일정 정리 | 3곳 모두 12/12, 마감 없는 3건은 모두 ‘미정’ | 그대로 써도 됨. 상대 날짜(다음 주 수요일)는 달력과 대조 |
| 데이터 정리 | 89/90칸 | 사람 검토. ‘확인 필요’로 돌아온 행만 보면 됨 |
| 문의 분류 | 59/60건, 틀린 1건은 애매한 건 | 사람 검토. 애매한 건은 서비스마다 갈림 |
| 계약서 위험 조항 | 심은 3개 모두 발견 | 사람 검토. 설명에 섞인 가정이 있는지 확인 |
| 메일 초안 | 조건은 충족, 오타와 지어낸 약속 | 발송 전에 반드시 읽기 |
오늘 바로 쓰는 질문 3가지
- 틀리면 내가 알아챌 수 있나? 합계처럼 검산이 쉽거나 메일처럼 읽으면 보이는 일은 맡겨도 됩니다.
- 틀렸을 때 피해가 크고, 되돌리기 어렵나? 계약, 고객 약속, 환불처럼 한 번 나가면 못 돌리는 일은 사람이 마지막에 확인합니다.
- “모르면 모른다고 표시해”라고 요청에 적었나? 이번 데이터 정리에서 ‘확인 필요’가 돌아온 덕분에 사람이 볼 곳이 줄었습니다.
이 판별표의 틀을 다음 글들에서 요청문 템플릿과 평가셋으로 이어서 확인합니다.
다음 단계
업무를 맡기기 전 체크리스트
- 틀렸을 때 내가 알아챌 수 있는 업무인가?
- 틀리면 되돌릴 수 없는 결과(환불, 계약, 고객 약속)가 나오는가?
- 요청문에 “모르면 모른다고 표시하라”를 넣었는가?
- 결과를 원본과 대조하는 시간이 맡긴 시간보다 길지 않은가?
네 가지 중 두 개 이상이 걸리면 사람 검토를 붙이세요. 이번 실험에서도 틀린 곳은 계산보다 애매한 경계에서 나왔습니다.
자주 묻는 질문
Q. 결과가 모두 맞았던 업무도 검토가 필요한가요?
A. 이번 실험에서 점수가 높았던 업무도 표본 검수를 권합니다. 데이터가 바뀌면 같은 업무에서도 결과가 달라질 수 있습니다.
Q. 메일 초안은 어떻게 검토하나요?
A. 요청에 없던 약속이나 문장이 들어가지 않았는지 먼저 봅니다. 이번 실험에서도 요청에 없는 “확정되었습니다” 같은 표현이 나왔습니다.
메일 초안은 조건 충족만 보고 넘기지 마세요. 날짜, 금액, 책임 범위처럼 상대가 나중에 따질 수 있는 문장은 원본과 한 줄씩 대조하세요.
Q. 표를 정리하는 일도 AI에 맡겨도 되나요?
A. 행 순서가 바뀌는 경우가 있었습니다. 원본 순서를 유지하라고 요청문에 적고, 행 수가 입력과 같은지 확인하세요.
업무를 맡긴 뒤에는 결과를 어떻게 확인했는지 한 줄 남겨 두세요. 같은 업무를 다음에 맡길 때 기준이 됩니다.
업무를 하나씩 맡기는 것이 여러 업무를 한꺼번에 맡기는 것보다 검토하기 쉽습니다. 처음에는 한 가지 업무에서 시작해 결과가 안정적인지 확인하고 넓히세요.
답글 남기기