kone
ainovel
ainovel

gemma-4-31B 3-bit 까진 어찌어찌 가능 하려나

잡담
8,558 views · 3 points

사용 모델은 gemma-4-31B-it-uncensored-heretic-Q3_K_L.gguf
컨텍스트 16k 줬고 청크 3000

1

근데 3만자 번역하는데 이렇게나 걸림 ㅋㅋ

그래도 4-bit 모델보다는 20분이나 단축됨

26b-q5, 26b-q8, 31b-q3 요 셋 위주로 돌려봐야겠다

3
5 comments
중요한 것은 야설이 그냥 번역이 되는가겠네요
완전 잘됨
20분 단축되는 게 아니라 언젠가 20분이 됏음 좋겟군
gpu 뭐쓰심 간신히 돌리시는거면 5080?
All
Title
Body