kone
ainovel

ainovel

5070으론 26B 포기다

04/21/2026, 13:01:46
잡담
1978 views · 3 likes

ti여서 vram 16기가였다면 아슬아슬하게 경량버전 돌아갔을거같은데 12기가 안에 해결되지가 않네
컨텍스트 4096으로 잡으면 애매하게 12기가를 넘겨버림

번역 퀄리티 좀 포기하고 속도 챙기는게 맞을듯
분당 2~5kb로 번역하는건 엄두가 안난다이;

주말 쯤 되면 세팅 끝내고 번역 시작해볼수 있을듯

3
9 comments
Sign in to comment
04/21
세팅같은거 어떻게 하는지 나중에 살짝 팁좀 뿌려줭
그, 컴 스펙에 따라 세팅이 다 달라지는게 로컬이라 뭐라고 말하기가..
gemma 4 씀?
젬마 4 26B 도전해봤는데 12G를 최소버전 말고는 무조건 넘깁니다. Q4 정도 쓰면 퀄은 진짜 제대로인데 공유메모리로 돌아가서 너무 느려요
04/21
젬마4가 후기가 좋더라고요.
진짜 좋긴 좋은데 제 5070의 12G vram으론 젬마4 26B가 들어갈 스윗스팟이 안 나옵니다...
60ti 16램이 최소...인듯
60ti건 70ti건 어쨌건 16기가여야해요 그래야 26B 4Q 같은거 올려놓고도 컨텍스트 살릴 vram이 남음...
Sign in to comment