로컬 AI로 처음 번역기 돌려봤음
그간 웹 배치 번역기만 썼는데 이제는 배치 번역기에서 올라마를 지원한다고하여 이것저것 시도해봤음
주로 번역하는 건 관능 소설이나 라노벨
챗지피티에 어떤 모델을 써야하는지 물어보니까
Qwen3.5 Abliterated 9B
Qwen3 Abliterated 14B
Qwen3.5 Abliterated 27B
이런 모델들을 추천해주더라
막상 돌려보니 퀄이 개판이라 게시판들을 더 뒤져보니 gemma4가 좋다길래
gemma-4-26B-A4B-it-uncensored.i1-IQ4_XS.gguf
gemma-4-26B-A4B-it-uncensored.i1-Q5_K_M.gguf
gemma-4-26B-A4B-it-uncensored.i1-Q6_K.gguf
이 셋을 탑재 시켜봤음
컴 사양은
프로세서 AMD Ryzen 7 9800X3D 8-Core Processor (4.70 GHz)
설치된 RAM 64.0GB(61.5GB 사용 가능)
그래픽 카드 NVIDIA GeForce RTX 5080 (16 GB)
AMD Radeon(TM) Graphics (2 GB)
저래서 IQ4_XS는 컨텍스트를 8192로 주면 GPU에 무난하게 100% 적재가 되었고
16384로 하면 95:5 비율로 CPU에 오프로딩이 발생하더라
Q5_K_M은 GPU랑 CPU 비율이 7:3
Q6_K는 6:4 정도
배치 번역기 설정은
온도는 0.2
Top P 0.9
추론 강도 off
청크 1500
동시 작업 1
RPM 0
프롬프트는 여기서 구한 누더기 프롬프트를 나름대로 고친거
시험삼아 약 3만자짜리 단편 소설을 번역 시켜봤는데
Q4는 5분 30초
Q5는 10분 50초
Q6은 13분 40초
몇 권 안해봐서 비교군이 부족하지만 퀄리티는 Q5가 제일 나아보이더라
제미나이2.5 프로와 플래시 사이 정도 느낌이라고 봤는데 딱 그정도 느낌
웹 번역기로 제미나이3.8로 번역한 거랑 비교하면 확실히 아쉬운 느낌
프롬프트를 좀 깔끔하게 만져봐야할 것 같은데 귀찮다
아직은 웹 배치 번역기가 잘 되니까 일단 그거 쓰다가 나중에 더 나은 모델 나오면
그때 다시 돌려보던가 해야할 듯
s/ainovel
• 8,080 subscribers- 1. ※번역 요청 규칙※
본문에 원문 또는 후기 혹은 원문과 후기 둘 다 포함 필수. ex. [후기] 검도지로 1~2340 완; 또는 [원문/후기] 검도지로 1~2340 완 그 외 번역 요청은 이 글이 아닌 번역 요청 공지글에 댓글로 작성해주세요. 타 사이트의 자료 요청 금지. ※요청 규칙 미숙지시 7일 차단※
- 2. ※복구 요청 규칙※
원글 링크를 붙여주세요. 복구 자료는 복구 요청글의 링크를 첨부해주세요. 복구 요청은 공유할때까지 도배하지말고 기다려주세요. ※요청 규칙 미숙지시 7일 차단※
- 3. 욕설 및 비속어 금지
욕설, 비하, 혐오, 성적인 발언, 정치적 조롱 등은 일절 금지합니다. 상대를 직접적으로 공격하거나 조롱하는 행위는 즉시 제재 대상이 됩니다.
- 4. 분쟁 자제
의견 충돌이 발생하더라도 인신공격 없이 논리적인 대화 로 해결하도록 합니다. 지속적으로 분쟁을 유발하는 행위는 경고 또는 차단 조치의 대상이 됩니다.
- 5. 게시글 및 댓글 작성 기준
허위정보, 루머, 도배, 낚시성 게시물 은 삭제될 수 있습니다. 컨텐츠 관련 비판은 허용하되, 사람을 향한 비난은 허용되지 않습니다.
- 6. 공유 링크는 base64로 암호화 필수 (즉 본문 링크는 base64로 복호화 필요)
※연재처의 링크는 암호화 대상에서 제외합니다※
- 7. 닉네임 언급 및 친목 금지.