작년 Local LLM 붐이 일어났을 때, 문득 집에서 놀고 있던 DELL Optiplex 모델을 활용해 볼 수 없을까?라는 궁금증과 함께 배보다 배꼽이 큰 개조 작업을 진행하였고, 구축 6개월이 지난 지금 안정화를 거쳐 문제없이 Local LLM 을 잘 구동하고 있어 비슷한 도전(?) 하시는 분들께 도움이 되도록 글을 남겨봅니다.
결론적으로, DELL Optiplex 를 사용하기 위해 아래 부품을 신규 구입하였습니다
- PC Case (신품, 30,000 원)
- 600W 정격 Power (신품, 36,000 원)
- Power 와 DELL 메인보드 연결을 위한 6핀 변환 어댑터 (Ali 신품, 3800원)
- NVIDIA GeForce RTX 3060 12GB (중고, 290,000 원)
- (3개월 이후) NVIDIA GeForce RTX 5060 Ti 16GB (신품, 880,000 원)
- DDR4 16G 시스템 메모리 (중고, 무료로 받음)
- 총 비용 1,239,800 원
지금은 구축한 이 시스템으로 Gemma4 26B를 잘 사용하고 있고, 이 구축기를 통해 혹시 비슷한 PC를 보유하신 분께서 Local LLM을 하시기 위해 구축을 하신다면 실패를 최소화 할 수 있는 세팅 가이드입니다.
1장. 배보다 배꼽이 커진 이유: 험난한 케이스 와 Power 교체 작업
집에서 잠자고 있던 DELL Optiplex XE3 (i5-8500)는 기업용 워크스테이션 기반이라 메인보드와 CPU의 내구성은 검증된 모델이었습니다. 하지만 이를 24시간 가동되는 Local LLM 전용 서버로 활용하기로 결심한 순간, 브랜드 PC 특유의 이슈에 부딪혔습니다.
① 난관 1. 순정 상태로는 확장이 불가하였습니다
Local LLM 구동에서 가장 중요한 것은 AI 모델을 담을 그래픽카드(GPU)의 VRAM입니다. 처음에는 가성비가 좋은 NVIDIA GeForce RTX 3060 12GB를 장착하려고 했습니다. 하지만 델 순정 데스크톱은 아래와 같은 두 가지 벽 존재했습니다.
. 물리적 공간 부족: 순정 케이스는 내부 공간이 협소하여 2팬 이상의 외장 그래픽카드가 물리적으로 장착되지 않았습니다.
. 전원 공급 불가: 장착된 순정 파워 서플라이(PSU)는 200W 급의 저출력 제품인 데다, 고성능 그래픽카드가 요구하는 PCIe 6+2핀 보조 전원 선이 아예 존재하지 않았습니다.
결국 그래픽 카드를 사용하기 위해 처음에는 디자인만 보고 미들타워 케이스를 구매하였는데 DELL Optiplex의 메인보드의 세로 사이즈(300mm)가 길어 장착하지 못하였습니다. 결국, 임시방편으로 Ali 에서 벤치마킹 케이스를 구매하여 메인보드를 설치하였고, CPU Cooler의 설치 가이드의 볼트 Hole의 위치도 벤치마킹 케이스와 맞지 않아, 별도 볼트로 Cooler를 설치하여 사용하였습니다. 지금은 세로 사이즈가 325mm 까지 장착되는 Abko 제품을 구입하여 메인보드를 장착하였으나, 메인보드를 고정하는 볼트 Hole이 여전히 맞지 않아 일부만 케이스에 고정하였습니다.
② 난관 2. 델 메인보드의 독자 규격(Proprietary) 파워 포트를 사용한 부분이었습니다.
일반적인 조립 PC 메인보드는 전원 공급을 위해 표준 24핀(ATX) 커넥터를 사용합니다. 하지만 델 옵티플렉스 시리즈는 철저히 독자 규격으로 설계되어 있어, 메인보드 전원 포트가 6핀 독자 규격으로 되어있어 새로 산 600W 표준 ATX 파워 메인보드에 연결할 수 없었습니다.
💡 주의사항: 억지로 규격이 다른 선을 개조하거나 핀 배열을 모른 채 연결할 경우, 메인보드 전원부가 과전압으로 즉시 타버릴 (Burn-out) 수 있습니다.
③ 해외 직구 'ATX 24핀 to DELL 변환 어댑터'로 해결하였습니다.
이 문제를 해결하기 위해 알리를 통해 [DELL Optiplex 전용 ATX 24핀 to 6핀 전원 변환 어댑터 케이블]을 해외 직구로 구매했습니다.
이 변환 어댑터는 600W 파워의 표준 24핀 커넥터 신호를 델 메인보드가 인식할 수 있는 6핀 전압 신호로 변환해 주는 핵심 부품입니다.
. 연결 구조: [신품 600W 정격 파워 24핀] ➡️ [변환 어댑터] ➡️ [DELL Optiplex 메인보드 6핀 전원 포트]
. 그래픽카드 전원: 파워 서플라이에서 나오는 그래픽카드용 PCIe 8핀 전원선은 메인보드를 거치지 않고 RTX 3060 12GB (이후 업그레이드한 RTX 5060 Ti 16GB)에 직접 연결하여 사용하였습니다.
. 다만, 변환 어뎁터를 사용할 경우 PC의 전원을 꺼도, Power FAN은 계속 작동하고 있는 이슈가 있습니다.
. 또한, 전력이 부족하여 PC가 다운되거나, 혹은 이슈가 생겨 재부팅시에 다시 PC가 켜지지 않는 이슈가 가끔 발생하였고 이때는 변환 어뎁터를 분리하고 다시 설치하면 정상적으로 가동이 되었습니다.
. 만약, 어뎁터를 장착했는데 인식이 안될경우 BIOS 를 최신버전으로 업데이트를 권장합니다.
④ 케이스 이식시 겪었던 이슈 사항들
신품 케이스로 메인보드를 옮기는 과정에서도 델 특유의 규격 때문에 신경 써야 할 부분들이 있었습니다.
. 전원 스위치(Front I/O) 연결: 델 메인보드는 전면 전원 버튼 핀 배열이 일반 케이스와 다릅니다. 메인보드 매뉴얼이나 핀 배치도(Pinout)를 확인하여 신품 케이스의 Power SW 선을 알맞은 위치에 개별적으로 꽂아주어야 정상적으로 부팅됩니다. (저는 DELL 파워스위치를 그냥 사용하였습니다)
. 온도 센서 및 부팅 에러 해결: 델 PC는 순정 케이스에 장착된 시스템 팬이 분리되면 부팅 시 F1을 눌러야 진행되는 에러 경고 메시지를 보여주면서 부팅이 바로 안되었습니다. 인터넷에서는 BIOS 설정에서 경고(Alerts) 기능을 비활성화하면 된다고 하는데 저는 아무리 해도 안돼서, 벤치 마킹 케이스를 사용할 때는 DELL 의 순정 FAN을 장착해서 사용하다가, 지금은 Case에 장착된 FAN을 설치하니 문제없이 부팅이 되어 Case FAN으로 사용하고 있습니다.
결론적으로 지금은 잘 사용하고 있으나, 2장에서 작성할 비디오 카드를 교체하여 발생한 비용, Case를 제대로 확인 못하고 추가 구매한 비용등 추가 비용 없이 진행할 수 있었는데 아쉬움이 있었습니다.
추가로, 전기료 확인을 위해 TAPO Smart Plug 를 사용하여 전력 사용량을 모니터링하고 있는데 Full load시 (Gemm4 26b 를 통해 markdown 문서 생성 작업 진행) 1달 기준 약 60~70 Kwh 정도가 나와서 해당 부분도 천천히 올려볼까 합니다.
2장. RTX 3060 12GB에서 RTX 5060 Ti 16GB로 넘어간 이유