gemma-4-31B 3-bit 까진 어찌어찌 가능 하려나
사용 모델은 gemma-4-31B-it-uncensored-heretic-Q3_K_L.gguf
컨텍스트 16k 줬고 청크 3000
1
근데 3만자 번역하는데 이렇게나 걸림 ㅋㅋ
그래도 4-bit 모델보다는 20분이나 단축됨
26b-q5, 26b-q8, 31b-q3 요 셋 위주로 돌려봐야겠다
3
5 comments
kone1133
중요한 것은 야설이 그냥 번역이 되는가겠네요
ㅁㄴㅇㄹㅂㅈㄷㄱ
완전 잘됨
20분 단축되는 게 아니라 언젠가 20분이 됏음 좋겟군
gpu 뭐쓰심 간신히 돌리시는거면 5080?
s/ainovel
• 8,080 subscribersAI로 번역된 해외 소설 및 해외 패러디 소설 서브입니다.
Rules
- 1. ※번역 요청 규칙※
본문에 원문 또는 후기 혹은 원문과 후기 둘 다 포함 필수. ex. [후기] 검도지로 1~2340 완; 또는 [원문/후기] 검도지로 1~2340 완 그 외 번역 요청은 이 글이 아닌 번역 요청 공지글에 댓글로 작성해주세요. 타 사이트의 자료 요청 금지. ※요청 규칙 미숙지시 7일 차단※
- 2. ※복구 요청 규칙※
원글 링크를 붙여주세요. 복구 자료는 복구 요청글의 링크를 첨부해주세요. 복구 요청은 공유할때까지 도배하지말고 기다려주세요. ※요청 규칙 미숙지시 7일 차단※
- 3. 욕설 및 비속어 금지
욕설, 비하, 혐오, 성적인 발언, 정치적 조롱 등은 일절 금지합니다. 상대를 직접적으로 공격하거나 조롱하는 행위는 즉시 제재 대상이 됩니다.
- 4. 분쟁 자제
의견 충돌이 발생하더라도 인신공격 없이 논리적인 대화 로 해결하도록 합니다. 지속적으로 분쟁을 유발하는 행위는 경고 또는 차단 조치의 대상이 됩니다.
- 5. 게시글 및 댓글 작성 기준
허위정보, 루머, 도배, 낚시성 게시물 은 삭제될 수 있습니다. 컨텐츠 관련 비판은 허용하되, 사람을 향한 비난은 허용되지 않습니다.
- 6. 공유 링크는 base64로 암호화 필수 (즉 본문 링크는 base64로 복호화 필요)
※연재처의 링크는 암호화 대상에서 제외합니다※
- 7. 닉네임 언급 및 친목 금지.