kone
소미소프트
소미소프트

3060ti 따위로 로컬 LLM은 무리였나

대사한줄번역하는데 10초씩걸리네

1
3 comments
사이즈가 뭐냐에 따라 다르지 젬마4 엣지ai용 보니까 4기가 짜리도 있던데
(edited )
모델사이즈가 VRAM에 전부 들어오는 걸로 해야 빠름 gemma 4 e4b 써 텍스트 번역용이면 비전모델 날려버리고
100에 99 GPU에 다 안들어가서 느려지는거임 gpu offload 슬라이드 끝까지 땡겨도 모자란다싶으면 조용히 오프로드 실패하고 개느림
All
Title
Body