로컬llm5 [Local LLM] Qwen3.8(27B) 오!! 생각보다 좋네요. 근데 사용이 어렵습니다. 최근 Local LLM 에서 Qwen3.8:27b가 새로 출시했는데 저와 유사한 성능의 PC를 사용하는 분들께 참고가 되시도록 간단 테스트 결과를 공유하고자 합니다. 저는 평소에 문서 파일을 많이 사용하고 있어서 문서 파일로 테스트를 해보면 좋겠다 생각이 들어, 얼마전 발표된 2026 세제 개편안 상세본 pdf 로 테스트를 해 보았습니다. 이번 세제 개편안 상세본은 250 Page로 이걸 일일이 읽어보기에는 시간이 많이 들어 세제 개편안 중 우선 부동산 세제 합리화에 대한 부분에 대해 AI를 통해 상세 요약을 진행해 보았습니다. 1. 테스트 환경 및 조건- 하드웨어 사양: VRAM 16GB(5060Ti), 물리 메모리 32GB.- 구동 환경: Ollama (버전:Latest), Context Length.. 2026. 8. 18. [Local LLM 서버 구축기 4] NVIDIA GeForce RTX 5060 Ti 한 달간 Full Load 시 전기료!! 30,000원 7월 한 달 동안 24시간 내내 가정용 LLM 서버를 가동하며 측정한 실제 전력 사용량과 요금 데이터를 공유합니다. 7월 1일부터 31일까지 PC 전원을 끄지 않고 지속 가동했으며, Dify와 Gemma4:26b 조합으로 영상 및 문서 작업 보조 용도로 활용했습니다. 실제 측정 데이터를 통해 가정용 LLM 서버 운영 시 체감되는 비용과 한계를 정리했습니다. TAPO Smart Plug로 측정한 로컬 LLM 서버 전력 데이터 ① 7월 실측 결과: 50.153 kWh 사용, 특정 작업 시 부하 집중 모니터링은 기존과 동일하게 TAPO 스마트 플러그를 사용했습니다. 7월 1일부터 31일까지 가동한 결과, 총 50.153 kWh의 전력을 사용하였습니다. - 집중 부하 구간 (7/1~7/8): Outlook의 m.. 2026. 8. 4. [개인 Agentic 비서 만들기 1부] 14,183건의 메일, LLM + Dify 로 활용 가능할까요? 개인사업을 하거나 바쁜 직장 생활을 하다 보면 누구나 한 번쯤 겪는 고통이 있습니다. "그때 그 메일, 도대체 어디 있지?" 급할 땐 보이지 않고, 나중에야 발견되는 데이터의 미스터리. Outlook의 검색 기능만으로는 해결되지 않는 이슈를 해결하기 위해, Synology Mailplus, Ollama, Anything LLM을 거쳐 최종적으로 Dify에 정착하기까지의 생존기를 기록합니다. 이번 1부에서는 하드웨어 한계를 극복하고 맵 리듀스(Map-Reduce) 아키텍처로 최적화한 데이터 분석 워크플로우 구축 과정을 작성해 보고자 합니다. ① 7주일간의 퇴근 후 시간을 DIfy가 가져갔습니다. 처음에는 큰 생각 없이 접근하였습니다. AnythingLLM 에서 인덱싱에 이슈가 발생한 이후, 검색을 하다.. 2026. 7. 12. [Local LLM 서버 구축기 3] TAPO 스마트 플러그 실측! 로컬 AI 서버 월간 전기세 분석 NVIDIA GeForce RTX 5060 Ti 16GB 구매 시 주요 고민 중 하나는 "전기세"였습니다. 기존 전력 사용량이 350 kWh 수준이었기에, 누진세 부담으로 Synology NAS 사용 중단까지 고려하며 구매를 진행했습니다. 설치 후 7일간 Gemma4 26B 모델로 Markdown 파일 13,583개를 생성하며 전력 사용량을 모니터링한 결과, 월간 약 64.3kWh를 사용할 것으로 예상됩니다. 유사한 환경을 구축하려는 분들께 참고가 되었음 좋겠습니다. 3장. TAPO Smart Plug 로 측정한 로컬 LLM 서버 전력 데이터 ① 7월 실측 결과: 생각보다 많이 나왔지만, 그래도 이 정도면 사용할 수 있겠네요. 서버(DELL Optiplex XE3 + MSI RTX 5060 Ti 16G.. 2026. 7. 9. [Local LLM 서버 구축기 2] NVIDIA GeForce RTX 3060 12GB에서 NVIDIA GeForce RTX 5060 Ti 16GB로 3개월 만에 교체한 이유 이번 글은 약간의 실패기가 포함되었습니다. 처음 NVIDIA GeForce RTX 3060 12GB를 중고로 구입을 결심했을 때 “충분”할 것으로 예상하였습니다. LLM을 사용하는 글도 보고 AI에게 물어봤는데 일반적인 상황에서는 12GB가 “충분”하다는 의견이 많았습니다. 물론 12GB 이상이 비싸기도 했습니다. 그래서 12GB를 구입하였는데 막상 설치하고 LLM(gpt oss 20b, Deepseek R1 14b, 32b 등)을 사용해 보았더니 실제 사용하기에 인내심이 필요한 경우가 많았습니다. 물론, 파라미터를 낮추면 원활하였지만 그 경우에는 제가 원하는 작업을 하기가 아쉬웠습니다. 결론적으로 고민하다 NVIDIA GeForce RTX 5060 Ti 16GB를 구입하게 되었고 지금은 Gemma4 2.. 2026. 7. 7. 이전 1 다음 반응형
