kone
ainovel
ainovel

로컬 AI로 처음 번역기 돌려봤음

잡담
9,932 views · 7 points

그간 웹 배치 번역기만 썼는데 이제는 배치 번역기에서 올라마를 지원한다고하여 이것저것 시도해봤음

주로 번역하는 건 관능 소설이나 라노벨

챗지피티에 어떤 모델을 써야하는지 물어보니까

Qwen3.5 Abliterated 9B

Qwen3 Abliterated 14B

Qwen3.5 Abliterated 27B

이런 모델들을 추천해주더라

막상 돌려보니 퀄이 개판이라 게시판들을 더 뒤져보니 gemma4가 좋다길래

gemma-4-26B-A4B-it-uncensored.i1-IQ4_XS.gguf

gemma-4-26B-A4B-it-uncensored.i1-Q5_K_M.gguf

gemma-4-26B-A4B-it-uncensored.i1-Q6_K.gguf

이 셋을 탑재 시켜봤음

컴 사양은

프로세서 AMD Ryzen 7 9800X3D 8-Core Processor (4.70 GHz)

설치된 RAM 64.0GB(61.5GB 사용 가능)

그래픽 카드 NVIDIA GeForce RTX 5080 (16 GB)

AMD Radeon(TM) Graphics (2 GB)

저래서 IQ4_XS는 컨텍스트를 8192로 주면 GPU에 무난하게 100% 적재가 되었고

16384로 하면 95:5 비율로 CPU에 오프로딩이 발생하더라

Q5_K_M은 GPU랑 CPU 비율이 7:3

Q6_K는 6:4 정도

배치 번역기 설정은

온도는 0.2

Top P 0.9

추론 강도 off

청크 1500

동시 작업 1

RPM 0

프롬프트는 여기서 구한 누더기 프롬프트를 나름대로 고친거

시험삼아 약 3만자짜리 단편 소설을 번역 시켜봤는데

Q4는 5분 30초

Q5는 10분 50초

Q6은 13분 40초

몇 권 안해봐서 비교군이 부족하지만 퀄리티는 Q5가 제일 나아보이더라

제미나이2.5 프로와 플래시 사이 정도 느낌이라고 봤는데 딱 그정도 느낌

웹 번역기로 제미나이3.8로 번역한 거랑 비교하면 확실히 아쉬운 느낌

프롬프트를 좀 깔끔하게 만져봐야할 것 같은데 귀찮다

아직은 웹 배치 번역기가 잘 되니까 일단 그거 쓰다가 나중에 더 나은 모델 나오면

그때 다시 돌려보던가 해야할 듯

7
4 comments
오옷 컴사양은 저랑 비슷하시네요. 나중에 저도 시도한번 해보고 싶어집니다
해볼만 한듯요
정보추천
All
Title
Body