kone
소미소프트

소미소프트

3060ti 따위로 로컬 LLM은 무리였나

일반
7693 views · 1 likes

대사한줄번역하는데 10초씩걸리네

1
3 comments
Sign in to comment
사이즈가 뭐냐에 따라 다르지 젬마4 엣지ai용 보니까 4기가 짜리도 있던데
04/21 Edited 04/21
모델사이즈가 VRAM에 전부 들어오는 걸로 해야 빠름 gemma 4 e4b 써 텍스트 번역용이면 비전모델 날려버리고
04/21
100에 99 GPU에 다 안들어가서 느려지는거임 gpu offload 슬라이드 끝까지 땡겨도 모자란다싶으면 조용히 오프로드 실패하고 개느림
Sign in to comment