난이도 · 입문 | 처음 써 보는 분도 바로 따라 할 수 있는 글
“오픈 웨이트”, “무료로 내려받는 AI 모델”이라는 말이 늘었습니다. 그런데 파일을 내려받는 것은 무료여도, 그 AI를 내 컴퓨터에서 돌리는 데는 돈이 듭니다.
결론부터
1. 모델 파일은 무료여도 실행할 컴퓨터와 전기료는 무료가 아닙니다. 핵심은 그래픽카드의 전용 메모리(VRAM) 용량입니다.
2. 그래픽카드(16GB 이상)를 이미 갖고 있다면 추가 비용 없이 시도해 볼 수 있습니다. 하지만 새로 사야 한다면, 장비값을 36개월로 나눠도 월 약 8만원이 넘게 듭니다.
3. 가끔 쓰는 입문자에게는 무료 웹 서비스나 유료 구독이 더 경제적일 가능성이 큽니다. 내 PC로 돌리는 방식은 자주, 많이 쓰거나 자료를 밖으로 보내기 어려울 때 의미가 있습니다.
그래서 이렇게 하세요
- 내 PC의 그래픽카드 메모리(VRAM)를 확인하세요. 윈도우는 작업 관리자의 “성능” 탭에서 GPU 항목을 보면 됩니다. 맥은 CPU와 GPU가 메모리를 함께 쓰는 구조라 PC의 VRAM과 같은 기준으로 비교할 수 없습니다.
- 16GB 이상을 이미 갖고 있다면 OpenAI의 gpt-oss-20b부터 검토해 보세요. OpenAI 공식 설명에 16GB 메모리 안에서 실행된다고 나와 있습니다. 다만 대화가 길어지거나 여러 요청을 동시에 처리하려면 여유가 더 필요합니다.
- 그래픽카드가 없거나 8GB 이하라면 굳이 로컬로 돌리지 말고 ChatGPT, Gemini, Claude 같은 웹 서비스를 쓰세요. 이 글의 판단입니다.
- 새로 사려는 경우 먼저 “한 달에 몇 시간 쓸지” 정하세요. 아래 계산식에 넣어 보면, 가끔 쓰는 사람은 전기료보다 장비값이 비용의 대부분이라는 것을 알 수 있습니다.
- 한국어 업무 품질은 직접 확인하세요. 공개 점수만으로 내 업무에서 잘 되는지는 알 수 없습니다. 요약 방법 글의 요청문으로 같은 문서를 넣어 비교해 보세요.
용어부터 쉽게
| 용어 | 쉽게 말하면 |
|---|---|
| 오픈 웨이트 | AI가 학습한 결과물(가중치라는 숫자 묶음) 파일을 공개해서 누구나 내려받아 쓸 수 있게 한 모델입니다. “무료 모델”이라고 부르기도 합니다. |
| VRAM | 그래픽카드에 달린 전용 메모리입니다. AI 모델이 이 안에 들어가야 빠르게 돌아갑니다. |
| 양자화 | 모델 파일의 정밀도를 낮춰서 크기를 줄이는 압축 방식입니다. 파일은 작아지지만 줄이는 정도에 따라 품질이 달라질 수 있습니다. |
| API 종량제 | AI를 인터넷으로 호출하고 쓴 만큼 요금을 내는 방식입니다. |
| 감가상각 | 장비값을 쓰는 기간으로 나눠 매달 쓰는 비용으로 보는 계산입니다. |
어떤 모델이 얼마나 필요할까요?
“이름에 24GB가 있으니 24GB 그래픽카드면 되겠지”라고 생각하기 쉽지만 그렇지 않습니다. 실제로는 배포되는 파일의 크기와 대화 내용을 기억하는 공간(KV 캐시)까지 합쳐서 봐야 합니다. 공식 페이지에서 확인한 내용입니다.
| 모델 | 확인한 내용 | 16GB 그래픽카드에서는 |
|---|---|---|
| gpt-oss-20b (OpenAI) | OpenAI 공식 설명: 16GB 메모리 안에서 실행됨 | 후보가 될 수 있음 |
| 큐웬3.8-27B | 변환 파일(Q4_K_M)이 17.44GB | 통째로 올리기 어려움 |
| 네모트론 3.5 볼트 (엔비디아) | 공식 저장소 실행 구성: 외장 GPU 32GB 이상, 문맥 65,536토큰 | 부족함 |
돈은 얼마나 들까요?
장비를 새로 산다고 가정하고, 장비값을 36개월로 나누고 전기료를 더해 한 달 비용으로 환산했습니다. 계산 방식은 AI인사이트저널 기사와 같고, 아래 계산식으로 제가 다시 계산해 모든 값이 일치했습니다.
한 달 비용 = 장비값 ÷ 36 + (전체 전력 W ÷ 1000 × 한 달 사용 시간 × 전기 단가)
가정: 전기 단가 kWh당 200원, 장비의 중고 가치는 0원, 월 60시간(하루 2시간 사용) 또는 720시간(하루 종일 켜 둠)
| 구성 | 장비값 | 월 장비 분할 | 월 60시간 사용 시 합계 | 하루 종일 켜 둘 때 합계 |
|---|---|---|---|---|
| RTX 5060 Ti 16GB PC | 294만5000원 | 8만1806원 | 8만4806원 | 11만7806원 |
| 맥 스튜디오 M5 Max | 429만원부터 | 11만9167원 | 12만607원 | 13만6447원 |
| MSI EdgeXpert (128GB) | 850만원 | 23만6111원 | 23만8511원 | 26만4911원 |
| RTX 5090 EPYC PC | 1364만2000원 | 37만8944원 | 38만6744원 | 47만2544원 |
입문형인 5060 Ti PC를 보면 월 60시간 쓸 때 전기료는 3,000원뿐이고 장비 분할비가 8만1806원입니다. 비용의 대부분이 전기가 아니라 장비값이라는 뜻입니다. 기사는 월 10만 건을 호출하는 클라우드 API의 월 비용을 약 15만~35만원으로 계산했습니다. 이 경우에는 많이 쓸수록 로컬이 유리해지지만, 가끔 쓰는 사람은 구독이나 무료 서비스가 훨씬 쌉니다.
| 상황 | 이 글의 판단 |
|---|---|
| 그래픽카드가 없거나 VRAM 8GB 이하, 가끔 사용 | 무료 웹 서비스나 구독 |
| VRAM 16GB 이상을 이미 보유, 자료를 밖에 보내기 어려움 | 로컬 모델(예: gpt-oss-20b) 시도 |
| 장비를 새로 사야 하고 가끔 사용 | 구독이나 API가 더 경제적 |
| 장비를 새로 사야 하고 매일 많이 사용 | 로컬이 유리해질 수 있음. 같은 작업의 처리량으로 손익분기를 계산 |
직접 확인한 것
| 확인한 것 | 결과 |
|---|---|
| 비용 계산 재계산 (장비 4종, 월 60시간과 720시간 총 8개 값) | 모두 기사와 일치했습니다. |
| gpt-oss-20b의 16GB 설명 | OpenAI 공식 모델 페이지에서 확인했습니다. |
| 큐웬3.8-27B 변환 파일 크기 | 모델 페이지에 Q4_K_M 17.44GB로 적혀 있었습니다. |
| 네모트론 3.5 볼트 실행 구성 | 공식 저장소에 외장 GPU 32GB 이상, 문맥 65,536토큰, 동시 요청 1건으로 적혀 있었습니다. |
| 큐웬3.8-27B의 공개 지수 | 아티피셜 애널리시스(AA) 페이지에서 34로 확인했습니다. |
아직 모르는 것
- 젬마 4 12B의 파일 크기(기사에는 7.66GB)는 모델 페이지에서 직접 찾지 못했습니다.
- PC와 장비의 판매 가격은 기사가 확인한 표시 가격이며, 제가 소매점에서 다시 확인하지 못했습니다. 재고와 가격은 수시로 바뀝니다.
- 내 PC에서의 실제 속도는 직접 측정하지 않았습니다. AA의 속도 수치는 클라우드 서버에서 잰 값이라 내 PC와 같지 않습니다.
- 한국어 업무 품질은 공개 점수만으로 알 수 없습니다. 이 글에서는 평가하지 않았습니다.
- 이 계산에는 설치와 관리 시간, 수리, 냉각, 금융비용이 빠져 있어 완전한 총비용이 아닙니다.
출처와 확인 날짜
아래 내용은 2026년 10월 17일에 확인했습니다. 서비스와 가격은 자주 바뀌므로 이 날짜 기준으로 읽어 주세요.
- OpenAI gpt-oss-20b 모델 페이지 (Hugging Face)
- 큐웬3.8-27B 변환 파일 페이지 (Hugging Face)
- 엔비디아 네모트론 3.5 볼트 저장소 (Hugging Face)
- Artificial Analysis 큐웬3.8-27B 페이지
- AI인사이트저널: 무료로 받은 오픈 웨이트 모델… 내 PC에 찍힌 16GB VRAM의 청구서 (장비별 가격과 비용 표, 벤치마크 해석 등 더 자세한 분석)
답글 남기기