이번 글은 약간의 실패기가 포함되었습니다. 처음 NVIDIA GeForce RTX 3060 12GB를 중고로 구입을 결심했을 때 “충분”할 것으로 예상하였습니다. LLM을 사용하는 글도 보고 AI에게 물어봤는데 일반적인 상황에서는 12GB가 “충분”하다는 의견이 많았습니다. 물론 12GB 이상이 비싸기도 했습니다. 그래서 12GB를 구입하였는데 막상 설치하고 LLM(gpt oss 20b, Deepseek R1 14b, 32b 등)을 사용해 보았더니 실제 사용하기에 인내심이 필요한 경우가 많았습니다. 물론, 파라미터를 낮추면 원활하였지만 그 경우에는 제가 원하는 작업을 하기가 아쉬웠습니다. 결론적으로 고민하다 NVIDIA GeForce RTX 5060 Ti 16GB를 구입하게 되었고 지금은 Gemma4 26b를 올려서 사용하고 있습니다. 혹시나, 저처럼 12GB와 16GB를 고민하는 분들이 있으실 경우 비용 투자가 가능하시다면 16GB를 구매하시는 것을 추천드리고 싶습니다.
2장. 부품 구매시 현명한 판단이 필요한 이유: 비용을 줄이려다, 더 나갔습니다.
① Local LLM 을 구축하여 아래와 같이 사용하려고 생각을 하였습니다.
저는 업무나 개인적으로 파일 생성이 많은 편입니다. Outlook 메일도 msg로 다운받아 보관하고 있으며, 개인 이력서나 웹 검색 시 관련된 자료의 저장, 보관 및 Upnote 앱을 통한 메모 사용도 많은 편입니다.
자료가 많이 늘어나면 과거의 이력을 찾거나 첨부파일을 검색할 때 관련 내용이 나오지 않거나, 분명히 특정 날짜에 메일로 접수한 것 같은데 아무리 뒤져도 나오지 않는 경우가 있었습니다. 이 파일이다 싶어서 보았는데 다른 내용이 있어 당황했던 경험도 있었습니다.
급할 경우 메일의 초안을 작성해 주면 좋겠다 싶은 경우도 있었으나, 외부 LLM을 사용하는 것은 보안상 리스크가 있기에 고민하다가 찾은 방법이 Local LLM 구축이었습니다.
② 12GB VRAM의 한계로, 결국 다른 방안을 찾아야 했습니다.
초기 세팅에 사용한 RTX 3060 12GB는 7B~9B 매개변수(Parameter) 수준의 소형 LLM 구동에 적합한 모델이었습니다. 하지만 이를 활용하기로 결심한 순간, 하드웨어의 물리적 한계에 부딪혔습니다.
. 핵심 난관 1. RTX 3060 12GB 환경의 VRAM 한계 및 시스템 병목 현상
현재 주력으로 사용하는 Gemma4 26B 모델을 원활하게 구동하기에는 12GB VRAM 용량이 물리적으로 부족했습니다. 또한 gpt oss 20b 모델도 질/답에 인내심이 필요하였고, 실제 여러 목적으로 사용하기에는 쉽지 않다는 생각을 하였습니다.
- 과도한 오프로딩(Offloading): Gemma4 26B 모델을 4-bit 등으로 양자화(Quantization)하여 구동하더라도 최소 14~15GB 수준의 메모리가 요구됩니다. 12GB VRAM 환경에서는 GPU에 모두 적재되지 못한 나머지 모델 레이어를 일반 시스템 RAM(DDR4 16GB)으로 오프로딩해야 합니다.
- 병목 현상 발생: 이 과정에서 PCIe 대역폭 및 RAM 속도의 한계로 인해 병목 현상이 발생하며, 텍스트 생성 속도(Tokens/second)가 실사용이 어려울 정도로 현저히 저하되었습니다.
③ 해결 방안. RTX 5060 Ti 16GB를 신규로 구입하였습니다.
사실 해결 방안은 명확하였습니다. 근데 문제는 그래서 내가 정말 구매하고, 잘 사용할까? 를 여러날 고민하였고, Anything LLM 과 Google API를 사용하여 토큰 유로로 사용할까 (이 경우에는 업무 관련 메일은 보안상 적용할 수 없는 문제가 있었습니다)도 고민하였는데 일단 지르고 보자 하여 880,000원을 투자하여 RTX 5060 Ti 16GB 신품으로 교체를 진행했습니다. 선택의 핵심 기준은 아래와 같이 판단하였습니다.
- 단일 GPU 내 VRAM 용량 확보: 16GB VRAM은 양자화된 26B 체급 모델을 시스템 RAM 오프로딩 없이(또는 최소화하여) 온전히 GPU 메모리 내에 적재할 수 있다고 확인을 하였고
- 전력 공급의 한계: 현재 PC에는 600W 정격 Power가 장착되어 있습니다. 더 상위모델 혹은 GPU 2개 장착(다중 GPU) 구성은 600W 파워 및 물리적 공간 제약으로 불가능했습니다 (저렴한 GPU 추가 구매하여 12GB + 8GB 2개 장착도 고려하였으나 전기료가 너무 많이 나올거 같고, 실제 장착하더라도 성능 측면에서도 큰 차이가 없을 거라는 AI 의견이 있어서 포기했습니다) 따라서 기존 파워 용량 내에서 구동이 가능하면서 VRAM이 16GB인 모델 중 가장 최신 세대의 그래픽카드를 선택했습니다.
- 또한, 그래픽 카드의 사이즈가 작은 제품을 찾았습니다. 기존 사용하던 RTX 3060 12GB 는 290mm 수준인데, 새로 구입한 MSI RTX 5060 Ti 16GB는 227mm 로 길이가 짧아서 설치하기도 더 용이하였습니다. (이 제품은, FAN 계속 회전하지 않고, 일정 온도 이상에서만 회전하여 소음 측면에서도 좋았습니다)
④ 그래픽카드 교체 및 적용 결과는 “오 생각보다 괜찮네” 였습니다.
- 처리 속도 정상화: Gemma4 26B 모델의 가중치가 VRAM 내에 안정적으로 적재됨에 따라, Markdown 문서 생성 등의 대규모 텍스트 출력 시 발생하던 속도 저하 및 끊김 현상이 해결되었습니다. 메모리 초과로 인한 OOM(Out of Memory) 에러 발생 빈도도 사라졌습니다.
지금도, 과거 outlook msg 파일을 markdown 문서로 자동 변환하게 하여, 운영중인데 생각보다 큰 이슈없이 잘 markdown 문서로 변환 작업을 진행하고 있습니다.
추가로, 사용 성능에 대한 부분은 별도로 작성하려고 생각하고 있습니다.
결론적으로, 판단 착오로 인해 초기 중고 부품(290,000원) 구매 후 3개월 만에 신품(880,000원)을 추가 구매하는 비용적 손실이 발생했습니다.
Local LLM 서버 구축 시에는 목표로 하는 모델을 우선 명확히 고민해보시고, 이에 맞는 VRAM을 최초부터 확보하는 것이 전체 구축 비용을 절감하는 방법으로 말씀드리고 싶습니다.
3장. TAPO Smart Plug 를 활용한 전력량 모니터링 및 전기세 최소화 사용 고려 사항
'AI & LLM' 카테고리의 다른 글
| [Local LLM 서버 구축기 1] 집에서 놀던 6년된 DELL Optiplex XE3-i5 8500 Local LLM 서버 구축기 (0) | 2026.07.06 |
|---|
