VRAM1 [Local LLM 서버 구축기 2] NVIDIA GeForce RTX 3060 12GB에서 NVIDIA GeForce RTX 5060 Ti 16GB로 3개월 만에 교체한 이유 이번 글은 약간의 실패기가 포함되었습니다. 처음 NVIDIA GeForce RTX 3060 12GB를 중고로 구입을 결심했을 때 “충분”할 것으로 예상하였습니다. LLM을 사용하는 글도 보고 AI에게 물어봤는데 일반적인 상황에서는 12GB가 “충분”하다는 의견이 많았습니다. 물론 12GB 이상이 비싸기도 했습니다. 그래서 12GB를 구입하였는데 막상 설치하고 LLM(gpt oss 20b, Deepseek R1 14b, 32b 등)을 사용해 보았더니 실제 사용하기에 인내심이 필요한 경우가 많았습니다. 물론, 파라미터를 낮추면 원활하였지만 그 경우에는 제가 원하는 작업을 하기가 아쉬웠습니다. 결론적으로 고민하다 NVIDIA GeForce RTX 5060 Ti 16GB를 구입하게 되었고 지금은 Gemma4 2.. 2026. 7. 7. 이전 1 다음 반응형
