최적의 설정은 아니고 그냥 제가 현재 쓰는 세팅입니다.

그냥저냥 쓸만한 옵션... 글카 체급 대비 속도 좀 포기하고 품질이 높은 옵션입니다. 더 좋은거 있으면 알려주세요.

모델 선택: 16기가에 26b@IQ4_XS 겨우 넣을 수 있습니다. (완전히 다 들어가지는 않는 것 같음)

단순번역은 26b 경우 거의 검열 안해서 그냥 기본 쓰고있습니다.

현재 mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic-i1-GGUF@IQ4_XS 사용중

1

Max Concurrent Requests 더 늘리면 번역기도 여러개를 동시에 번역합니다.

Offload 무조건 30

1

최대한 VRAM에 쑤셔넣는 옵션

1

토큰 속도 테스트 66 tps

1

번역기 저녁에 3.2.6 업뎃했음

업데이트 체크하는 기능 포함