어렵지 않은 로컬 LLM으로 배치 번역기 돌리기
준비물이 빡세서 그렇지
추천 최소 사양은 램 32긱
글카는 16긱
근데 16긱이라도 속도가 좀 잘 나와야 한다면 적어도 9070xt는 되야함
9070xt 메모리 대역폭이 640으로 r9700이랑 동일한 수준이라
이정도는 되야 10만자에 대충 30분 정도 소요됨
저것보다 상급은 5070ti 16긱이나 5080정도가 그나마 살만할텐데
9070xt가 100만원 중반인데 비해 5070ti로만 가도 200만원 초반에서 와리가리하고
5080은 지금 280만 넘던가
아무튼 이제와서 갖춘다기보다는 저정도 사양을 보유하고 있다면 시도해볼만함
로컬 LMM으로 번역의 장점은 역시 검열에서 자유로움
초딩이든 중딩이든 뭔 짓을 해도 신경쓸 필요가 전혀 없음
그리고 무료 사용량이나 토큰 소모량에 대해서도 마찬가지임
단점은 전기 요금과 그래픽 카드의 소음, 그리고 장시간 걸리는 부하에 따른 수명 단축 우려
단일 글카일 경우 번역 도중에는 글카를 거의 풀로 사용하고 있어서 웹 서핑이나 유튜브, 영화 감상
저사양 게임 정도밖에 못한다는 거
준비 작업
https://ollama.com/download 에 가서
올라마를 다운로드하고 설치
설치후 딱히 건들 건 없음
모델 설치
비램 16긱 환경에서 모델을 비램에 100퍼 다 적재한다면 추천할만한 모델은
젬마4 19b q5_k_s
젬마4 26b q3_k_m
이정도가 최선으로 보임
모델은 제작자 별로 여러 배리에이션이 있는데 대충
26b는
https://huggingface.co/llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF
19b는
https://huggingface.co/mradermacher/gemma-4-19B-A4B-it-The-DECKARD-Heretic-Uncensored-Thinking-GGUF
다른 모델을 찾아보고 싶다면
gemma-4-26b GGUF 나 gemma-4-19b GGUF는 유지하고 Uncensored 같은 무검열이나 검열 해제 같은 검색어 넣고 구글링하면 허깅 페이스 링크들을 찾아줄 거임
19b는 q5ks, 26b는 q3km을 추천하는 이유는
글카가 기본적으로 사용하는 비램도 있고 컨텍스트 사이즈에 따라 캐시를 차지하는 공간도 있기 때문임
저 모델들을 실제로 글카에 적재하면 15긱 정도 나오기 때문에 저것들 이상 모델은 비램이 넘쳐서 시퓨에 오프로드 될 수 있음
그래도 번역에는 문제 없지만 속도가 상당히 느려진다
모델 설치는 허깅페이스에서 모델 파일을 직접 다운로드 받아 수동으로 설치하는 방법이 있지만
윈도우 powershell을 실행하고
$base = "hf.co/llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF:Q3_K_M"
$path = Join-Path $env:TEMP "Modelfile-gemma4-ultra"
@"
FROM $base
"@ | Set-Content -Path $path -Encoding ascii
ollama create gemma4-26b-q3 -f $path
위의 명령어를 복붙하고 실행하면 자동으로 다운로드하고 설치까지 마쳐준다
ollama list 를 실행하면 현재 설치된 모델 리스트가 표시됨
19b 모델을 설치하고 싶다면
$base 부분에서 hf.co/ 이 뒷부분을
mradermacher/gemma-4-19B-A4B-it-The-DECKARD-Heretic-Uncensored-Thinking-GGUF:Q5_K_S
로 바꿔주고
제일 아래 ollama creat 이후에 등록할 모델명을 대충 gemma4-19b-q5 이런식으로 해주면 된다
12b 모델들은 q8까지도 가능은 하겠지만 개인적으로는 비추
모델 설치를 마쳤으면 배치 번역기를 실행하고
AI 프로바이더를 Ollama 로 설정하면
API 베이스 URL 은 자동으로 기본값을 잡히고
인증 / 연결 테스트를 실행하면
이렇게 뜰 거임
모델을 19랑 26 둘 다 설치했다면
모델 목록 새로고침을 하고
사용할 모델을 선택한 다음
다시 인증/연결 테스트를 해주면 선택한 모델을 배치 번역기에서 사용하게 됨
다음은 배치 번역기의 설정
컨텍스트는 8192를 추천함
비램 용량이 아무래도 빠듯하기 때문에 저 이상 주면 넘칠 가능성이 있음
생성 파라미터 부분에서 온도는 0.2~3
Top P는 0.9~0.95를 권장하더라
이유는 챗지피티나 제미나이에 물어보면 답해줄거임
추론 강도는 끄기
청크는 1000 이하를 권장함
이유는 돌려보면 안다
동시 작업 수는 무조건 1
분당 요청 수는 무제한인 0
검열 오류 시 청크 분할 재시도는 딱히 건들 필요는 없음
동적 용어집 주입 활성화는 켜주고 청크당 최대 항목수는 기본 청크가 낮으니
10에 최대 문자수는 500 정도로
대충 이렇게 설정해주고 용어집 추출후 번역 돌려보면
모델이 비램에 적재되고 글카가 미친듯이 돌아가기 시작할 거임
번역 도중 모델이 글카에서 넘쳐서 시퓨도 같이 돌아가는지 확인하고 싶다면
파워쉘이나 cmd를 실행해서
ollama ps 를 입력하면 현재 가동중인 모델이 표시됨
거기에서 GPU 100%라고 되어있으면 안넘친거고
CPU랑 나눠 먹고 있는게 보이면 넘친 거임
사실 여기까진 쉬운데 이 다음부터는
청크가 넘쳐서 재시도가 뜰 경우 컨텍스트와 청크값과 조정하는 것과
무검열 LLM에 걸맞는 프롬프트 재작성
전력 소모량을 줄이기 위한 언더볼팅과 저소음을 위한 쿨링팬 커브값 조정과의 싸움이 될 거임
청크 넘치는 거 관련해서는 재시도하면 정상적으로 번역되니 무시해도 상관없지만
빨간 경고문 뜨면서 원문 반환 뜨면 그 부분은 번역 누락이기 때문에 그건 설정값 조정해서 잡아줘야함
아무튼 비램 16긱 이상의 글카를 가지고 있다면 한번쯤은 해볼만 함
퀄리티도 생각보다 괜찮음
26b q8 기준으로 프롬프트 설정만 잘 해주면 3.8 라이트에 준하는 수준은 나오는 거 같음
R9700에서 12만자 기준 40분 정도 걸리고
5070ti나 5080으로 돌린다면 대역폭이 더 큰 만큼 속도도 더 나올테고
사용 모델도 더 작은 거니까 20분 중후반 정도 걸리지 않을까 싶음
9070xt는 r9700이랑 대역폭이 동일하니 비슷할 거고
셋팅만 다 된다면 자는 동안에 2~3시간 돌려준다 생각하고 하면 좋을 것 같다
Deleted comment.
s/ainovel
• 8,080 subscribers- 1. ※번역 요청 규칙※
본문에 원문 또는 후기 혹은 원문과 후기 둘 다 포함 필수. ex. [후기] 검도지로 1~2340 완; 또는 [원문/후기] 검도지로 1~2340 완 그 외 번역 요청은 이 글이 아닌 번역 요청 공지글에 댓글로 작성해주세요. 타 사이트의 자료 요청 금지. ※요청 규칙 미숙지시 7일 차단※
- 2. ※복구 요청 규칙※
원글 링크를 붙여주세요. 복구 자료는 복구 요청글의 링크를 첨부해주세요. 복구 요청은 공유할때까지 도배하지말고 기다려주세요. ※요청 규칙 미숙지시 7일 차단※
- 3. 욕설 및 비속어 금지
욕설, 비하, 혐오, 성적인 발언, 정치적 조롱 등은 일절 금지합니다. 상대를 직접적으로 공격하거나 조롱하는 행위는 즉시 제재 대상이 됩니다.
- 4. 분쟁 자제
의견 충돌이 발생하더라도 인신공격 없이 논리적인 대화 로 해결하도록 합니다. 지속적으로 분쟁을 유발하는 행위는 경고 또는 차단 조치의 대상이 됩니다.
- 5. 게시글 및 댓글 작성 기준
허위정보, 루머, 도배, 낚시성 게시물 은 삭제될 수 있습니다. 컨텐츠 관련 비판은 허용하되, 사람을 향한 비난은 허용되지 않습니다.
- 6. 공유 링크는 base64로 암호화 필수 (즉 본문 링크는 base64로 복호화 필요)
※연재처의 링크는 암호화 대상에서 제외합니다※
- 7. 닉네임 언급 및 친목 금지.