본문 바로가기

Gemma42

[Local LLM 서버 구축기 2] NVIDIA GeForce RTX 3060 12GB에서 NVIDIA GeForce RTX 5060 Ti 16GB로 3개월 만에 교체한 이유 이번 글은 약간의 실패기가 포함되었습니다. 처음 NVIDIA GeForce RTX 3060 12GB를 중고로 구입을 결심했을 때 “충분”할 것으로 예상하였습니다. LLM을 사용하는 글도 보고 AI에게 물어봤는데 일반적인 상황에서는 12GB가 “충분”하다는 의견이 많았습니다. 물론 12GB 이상이 비싸기도 했습니다. 그래서 12GB를 구입하였는데 막상 설치하고 LLM(gpt oss 20b, Deepseek R1 14b, 32b 등)을 사용해 보았더니 실제 사용하기에 인내심이 필요한 경우가 많았습니다. 물론, 파라미터를 낮추면 원활하였지만 그 경우에는 제가 원하는 작업을 하기가 아쉬웠습니다. 결론적으로 고민하다 NVIDIA GeForce RTX 5060 Ti 16GB를 구입하게 되었고 지금은 Gemma4 2.. 2026. 7. 7.
[Local LLM 서버 구축기 1] 집에서 놀던 6년된 DELL Optiplex XE3-i5 8500 Local LLM 서버 구축기 작년 Local LLM 붐이 일어났을 때, 문득 집에서 놀고 있던 DELL Optiplex 모델을 활용해 볼 수 없을까?라는 궁금증과 함께 배보다 배꼽이 큰 개조 작업을 진행하였고, 구축 6개월이 지난 지금 안정화를 거쳐 문제없이 Local LLM 을 잘 구동하고 있어 비슷한 도전(?) 하시는 분들께 도움이 되도록 글을 남겨봅니다. 결론적으로, DELL Optiplex 를 사용하기 위해 아래 부품을 신규 구입하였습니다- PC Case (신품, 30,000 원)- 600W 정격 Power (신품, 36,000 원)- Power 와 DELL 메인보드 연결을 위한 6핀 변환 어댑터 (Ali 신품, 3800원)- NVIDIA GeForce RTX 3060 12GB (중고, 290,000 원)- (3개월 이.. 2026. 7. 6.
반응형