내 업무용 AI 평가셋 만들기: 정답 있는 샘플 50건으로 채점하는 법

도구나 요청문을 바꿀 때마다 “이게 더 나은 것 같다”로 결정하고 있다면 평가셋이 필요합니다. 정답이 있는 샘플 50건과 채점 기준을 한 번 만들어 두면, 바꿀 때마다 같은 잣대로 점수를 비교할 수 있습니다.

평가셋이 뭔가요

AI에게 풀게 할 문제 모음과 정답표입니다. 요청문 v1과 v2를 같은 문제에 돌려 점수를 비교하면 어느 쪽이 나은지 근거가 생깁니다. 시험지와 답안지를 만들어 두는 일과 같습니다.

1단계. 평가할 작업을 하나로 좁히세요

“AI가 잘하나”가 아니라 “문의 분류”, “회의록에서 할 일 추출”처럼 한 작업만 정합니다. 작업이 섞이면 점수의 의미가 흐려집니다.

2단계. 샘플 50건 모으기

• 실제 업무 자료에서 뽑되, 이름, 연락처, 금액 등 민감한 정보는 지우거나 바꾸세요.
• 쉬운 사례 약 20건, 보통 약 15건, 헷갈리는 경계 사례 약 15건으로 나누세요.
• 과거에 AI가 틀렸던 사례는 모두 넣으세요.
• 한 유형에 쏠리지 않게 분포를 확인하세요.

3단계. 정답과 채점 규칙 쓰기

정답이 하나로 떨어지는 작업은 쉽습니다. 요약처럼 정답이 여러 개일 수 있으면 “반드시 들어가야 할 항목”과 “들어가면 안 되는 항목”을 목록으로 정하세요.

작업 유형	정답 형식	채점 방법
분류	라벨 하나	일치하면 1점
정보 추출	값(날짜, 금액 등)	값이 정확히 같으면 1점
요약	필수 항목 목록	필수 항목 포함 개수 / 전체
계산	숫자	일치하면 1점, 단위 틀리면 0점

4단계. 평가용 시트 만들기

번호	유형	입력	정답	AI 답(v1)	점수(v1)	AI 답(v2)	점수(v2)	메모
1	쉬움
2	경계

5단계. 돌리고 비교하기

1. 요청문 v1로 50건을 모두 돌려 답을 시트에 붙입니다. 매번 새 대화를 쓰세요.
2. 채점 규칙대로 점수를 매깁니다. 처음 한 번은 사람이 직접 채점하세요.
3. 요청문을 고쳐 v2로 같은 50건을 돌립니다. 바꾸는 것은 한 가지만입니다.
4. 총점과 함께 유형별 점수를 봅니다. 총점이 같아도 경계 사례에서 갈릴 수 있습니다.
5. 같은 질문을 여러 번 돌렸을 때 흔들리는 샘플은 별도로 표시하세요.

채점을 AI에게 맡겨도 되나요

정답이 명확한 작업은 일치 여부를 시트 함수로 채점할 수 있습니다. 요약처럼 판단이 필요한 채점을 AI에게 맡길 때는, 먼저 사람이 채점한 샘플 10건과 AI 채점이 얼마나 일치하는지 확인한 뒤에 쓰세요. 일치하지 않으면 AI 채점 결과를 믿지 마세요.

50건으로 직접 돌려 봤습니다

가상 쇼핑몰 고객 문의 50건(쉬움 20, 보통 15, 경계 15)을 만들어 라벨(배송, 환불, 교환, 기타) 정답을 실행 전에 확정했습니다. 경계 사례에는 건별로 정답 규칙을 한 줄씩 적었습니다(“고객이 최종적으로 원하는 조치 기준”). 이 중 35건은 요청문을 고칠 때 보는 개발용(DEV), 15건은 시험용(HOLDOUT)으로 나눴습니다. v1은 “분류해 줘, 번호별로 라벨만 줘”이고, v2는 DEV에서 v1이 틀린 것만 보고 고친 라벨 정의와 경계 규칙입니다. v2는 HOLDOUT 결과를 보기 전에 확정했습니다. ChatGPT, Gemini, Claude에 50건을 한 번에 붙여 v1, v2를 1회씩 돌렸습니다(2026년 10월 19일).

서비스	요청문	전체	쉬움	보통	경계	DEV	HOLDOUT
ChatGPT	v1	49/50	20/20	15/15	14/15	34/35	15/15
ChatGPT	v2	49/50	19/20	15/15	15/15	34/35	15/15
Gemini	v1	48/50	20/20	15/15	13/15	34/35	14/15
Gemini	v2	48/50	19/20	14/15	15/15	33/35	15/15
Claude	v1	49/50	20/20	15/15	14/15	34/35	15/15
Claude	v2	48/50	18/20	15/15	15/15	34/35	14/15

• v1이 이미 거의 만점이었습니다. v1의 DEV 오답은 세 서비스 모두 같은 한 건이었습니다(“반품 신청을 해 놨는데 택배 기사님이 아직 수거하러 오지 않았어요. 언제 오시는지 알려 주세요.”를 배송이 아니라 환불로 분류). 고칠 재료가 한 건뿐이었습니다.
• v2는 그 한 건을 세 서비스 모두 고쳤지만 새 오답을 만들었습니다. v2에서 배송 정의에 “배송비”를 넣자 “교환 신청하려는데 반품 택배비는 누가 내나요?”(정답 교환)를 세 서비스 모두 배송으로 답했습니다. v1에서는 셋 다 맞혔던 문항입니다. 기타 정의에 “재고”, “쿠폰”을 넣은 영향으로 Gemini와 Claude도 각각 한 건씩 기타로 틀렸고, 그중 Claude의 쿠폰 문의는 시험용에서 나왔습니다.
• 총점은 같거나 낮아졌습니다. ChatGPT는 49로 같았고, Gemini도 48로 같았으며, Claude는 49에서 48로 내려갔습니다. 요청문을 고쳤는데 좋아졌다고 말할 수 없는 결과였습니다. 평가셋 없이 감으로 고쳤다면 고쳐서 좋아졌다고 믿었을 수도 있습니다.
• 변별력은 경계 사례에서 나왔습니다. v1의 오답은 모두 경계 사례였습니다. 쉬운 문항만 모으면 점수가 만점에 가까워 요청문 차이를 못 잽니다.
• 출력 건수는 세 서비스 모두 50건으로 누락과 중복이 없었습니다. Gemini v1만 “각 고객 문의의 분류 라벨은 다음과 같습니다.”라는 서두 한 줄을 붙였습니다.
• 제가 평가셋과 v2를 둘 다 만들었기 때문에 정의 문구가 정답 규칙에 가깝게 쓰였을 수 있습니다. 쉬움으로 넣은 두 건(교환 택배비, 쿠폰 환불)은 사람이 봐도 라벨이 갈릴 수 있어서, 정답 자체를 한 번 더 검수해야 한다는 근거도 됩니다.

이 실험의 시트 열 구성은 id, 유형, 분할(DEV/HOLDOUT), 정답, 경계 규칙, 문의 원문, 서비스별·버전별 답, 맞음 여부(채점 식)로 했습니다. 하단에 전체, 유형별, DEV, HOLDOUT 점수와 출력 건수 확인 칸을 두었습니다.

흔한 실수

• 요청문을 고친 샘플로 최종 점수를 내는 것.
• 샘플이 너무 쉬운 것. 만점이 나오면 평가셋이 변별력이 없는 것입니다.
• 정답을 나중에 바꾸는 것. 바꿀 때는 이유와 날짜를 기록하세요.
• 점수 하나로 결론 내리는 것. 틀린 샘플을 직접 읽어 패턴을 찾으세요.

언제 다시 돌리나요

• 사용하는 모델이나 서비스가 바뀌었을 때
• 요청문을 고쳤을 때
• 업무 자료의 형식이 달라졌을 때
• 분기마다 한 번, 샘플 10건을 새로 교체해서

일관성을 먼저 확인하고 싶다면 5번씩 돌려 보는 일관성 측정 글부터 시작하세요.

출처

• 직접 실험 결과입니다. 실험 조건은 본문의 자료와 조건 항목을 참고하세요.