판단 AI 두 개를 같은 400건으로 비교했더니, 정답률은 같고 틀리는 방식이 달랐습니다

2026.10.22

난이도 · 심화　|　내 업무에 맞는 기준과 검증 체계를 직접 만들려는 분께

AI에게 문의를 분류시키거나 스팸을 가르게 하는 “판단 AI”를 고를 때 보통 정답률표부터 봅니다. 그런데 같은 데이터로 두 서비스를 비교해 보니 정답률 차이는 1%포인트에 불과했고, 진짜 차이는 다른 곳에서 났습니다.

결론부터

1. 정답률 1%p 차이는 우열이 아닙니다. 표본 200건, 정답률 76% 안팎이면 오차 범위가 위아래 약 6%p입니다.

2. 갈린 것은 보기 순서에 흔들리는 정도, 틀릴 때 붙이는 확신도, 요청 모양에 따른 비용이었습니다.

3. 고르는 기준은 모델의 우열이 아니라 내 업무에서 틀렸을 때 치르는 비용의 성격입니다.

그래서 이렇게 하세요

내 데이터 100~200건으로 직접 재세요. 공개 데이터는 모델이 학습 중에 봤을 가능성을 배제할 수 없고, 사내 용어와 맥락에서는 결과가 달라질 수 있습니다.
보기가 많은 분류라면 보기 순서를 바꿔 두 번 물어 보세요. 답이 바뀐 건만 사람에게 보내면 오답을 효율적으로 찾을 수 있습니다.
단가표 대신 내 요청의 입력 토큰(usage)으로 견적을 내세요. 요청 모양에 따라 비용 배수가 1.4배에서 8.3배까지 달라졌습니다.
놓치는 것이 비싼 탐지 업무라면 문턱을 낮췄을 때 놓친 건이 실제로 잡히는지 확인하세요. 놓친 건에 붙은 확신도가 서비스마다 달랐습니다.
사람에 대한 최종 결정은 두 서비스 모두 맡기지 마세요.

두 서비스(타입세이프AI의 Jev, 오픈AI 디시전스 API)에 공개 데이터 두 가지(Banking77 200건, SMS 스팸 200건)를 같은 질문과 같은 보기로 넣었습니다. 아래는 AI인사이트저널이 10월 13일에 1200번 호출해 측정한 값입니다.

두 모델이 같은 답을 냈다고 정답은 아닙니다. Banking77에서 두 모델의 답이 같았던 179건 중 정답은 145건(81%)이었습니다.
두 서비스의 확률은 같은 자가 아닙니다. 한쪽에서 정한 문턱을 다른 쪽에 그대로 옮기면 처리량과 오답률이 함께 달라집니다.
측정 환경에 따라 결과가 다릅니다. 아라이즈AI의 다른 측정에서는 Jev의 보정 오차가 절반 수준이었지만 이번 Banking77에서는 디시전스 API가 조금 나았습니다. 응답 속도도 측정 환경에 따라 달랐습니다.

이 글의 판단: 정답률이 같다면 선택 기준은 틀렸을 때의 비용입니다. 한 번에 정하기 어렵다면 내 요청 50건을 두 서비스에 보내 usage에 찍힌 토큰과 확신도 분포부터 비교해 보세요. 가격표나 벤치마크표보다 이 두 가지가 더 빨리 차이를 보여 줍니다.

상황	먼저 볼 쪽	근거
한 입력에 질문을 여러 개 묶는 텍스트 판단	Jev	질문 10개 묶음에서 입력 비용 8.3배 차이
보기가 많은 분류	Jev, 또는 디시전스 API로 순서를 바꿔 두 번	순서를 뒤집었을 때 답이 바뀐 비율 4% 대 15%
놓치면 비싼 탐지	직접 재보되 Jev 쪽이 문턱 조정 여지가 컸음	문턱 0.3에서 스팸 재현 97건 대 91건
이미지 판단	디시전스 API	Jev는 텍스트 전용
사람에 대한 최종 결정	둘 다 맡기지 않음	디시전스 API는 거부 응답, 마이크로소프트도 단독 근거 금지 권고

아래 내용은 2026년 10월 19일에 확인했습니다.

다음 단계