kone
ainovel
ainovel

어렵지 않은 로컬 LLM으로 배치 번역기 돌리기

정보
5,192 views · 22 points

준비물이 빡세서 그렇지

추천 최소 사양은 램 32긱

글카는 16긱

근데 16긱이라도 속도가 좀 잘 나와야 한다면 적어도 9070xt는 되야함

9070xt 메모리 대역폭이 640으로 r9700이랑 동일한 수준이라

이정도는 되야 10만자에 대충 30분 정도 소요됨

저것보다 상급은 5070ti 16긱이나 5080정도가 그나마 살만할텐데

9070xt가 100만원 중반인데 비해 5070ti로만 가도 200만원 초반에서 와리가리하고

5080은 지금 280만 넘던가

아무튼 이제와서 갖춘다기보다는 저정도 사양을 보유하고 있다면 시도해볼만함

로컬 LMM으로 번역의 장점은 역시 검열에서 자유로움

초딩이든 중딩이든 뭔 짓을 해도 신경쓸 필요가 전혀 없음

그리고 무료 사용량이나 토큰 소모량에 대해서도 마찬가지임

단점은 전기 요금과 그래픽 카드의 소음, 그리고 장시간 걸리는 부하에 따른 수명 단축 우려

단일 글카일 경우 번역 도중에는 글카를 거의 풀로 사용하고 있어서 웹 서핑이나 유튜브, 영화 감상

저사양 게임 정도밖에 못한다는 거

준비 작업

https://ollama.com/download 에 가서

Download Ollama on macOS
Download Ollama for macOS to run open AI models locally.

올라마를 다운로드하고 설치

설치후 딱히 건들 건 없음

모델 설치

비램 16긱 환경에서 모델을 비램에 100퍼 다 적재한다면 추천할만한 모델은

젬마4 19b q5_k_s

젬마4 26b q3_k_m

이정도가 최선으로 보임

모델은 제작자 별로 여러 배리에이션이 있는데 대충

26b는

https://huggingface.co/llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF

llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

19b는

https://huggingface.co/mradermacher/gemma-4-19B-A4B-it-The-DECKARD-Heretic-Uncensored-Thinking-GGUF

mradermacher/gemma-4-19B-A4B-it-The-DECKARD-Heretic-Uncensored-Thinking-GGUF · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

다른 모델을 찾아보고 싶다면
gemma-4-26b GGUF 나 gemma-4-19b GGUF는 유지하고 Uncensored 같은 무검열이나 검열 해제 같은 검색어 넣고 구글링하면 허깅 페이스 링크들을 찾아줄 거임

19b는 q5ks, 26b는 q3km을 추천하는 이유는

글카가 기본적으로 사용하는 비램도 있고 컨텍스트 사이즈에 따라 캐시를 차지하는 공간도 있기 때문임

저 모델들을 실제로 글카에 적재하면 15긱 정도 나오기 때문에 저것들 이상 모델은 비램이 넘쳐서 시퓨에 오프로드 될 수 있음

그래도 번역에는 문제 없지만 속도가 상당히 느려진다

모델 설치는 허깅페이스에서 모델 파일을 직접 다운로드 받아 수동으로 설치하는 방법이 있지만

윈도우 powershell을 실행하고

$base = "hf.co/llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF:Q3_K_M"

$path = Join-Path $env:TEMP "Modelfile-gemma4-ultra"

@"

FROM $base

"@ | Set-Content -Path $path -Encoding ascii

ollama create gemma4-26b-q3 -f $path

위의 명령어를 복붙하고 실행하면 자동으로 다운로드하고 설치까지 마쳐준다

ollama list 를 실행하면 현재 설치된 모델 리스트가 표시됨

19b 모델을 설치하고 싶다면

$base 부분에서 hf.co/ 이 뒷부분을

mradermacher/gemma-4-19B-A4B-it-The-DECKARD-Heretic-Uncensored-Thinking-GGUF:Q5_K_S

로 바꿔주고

제일 아래 ollama creat 이후에 등록할 모델명을 대충 gemma4-19b-q5 이런식으로 해주면 된다

12b 모델들은 q8까지도 가능은 하겠지만 개인적으로는 비추

모델 설치를 마쳤으면 배치 번역기를 실행하고

1

AI 프로바이더를 Ollama 로 설정하면

API 베이스 URL 은 자동으로 기본값을 잡히고

인증 / 연결 테스트를 실행하면

1

이렇게 뜰 거임

모델을 19랑 26 둘 다 설치했다면

모델 목록 새로고침을 하고

1

사용할 모델을 선택한 다음

1

다시 인증/연결 테스트를 해주면 선택한 모델을 배치 번역기에서 사용하게 됨

다음은 배치 번역기의 설정

컨텍스트는 8192를 추천함

비램 용량이 아무래도 빠듯하기 때문에 저 이상 주면 넘칠 가능성이 있음

생성 파라미터 부분에서 온도는 0.2~3

Top P는 0.9~0.95를 권장하더라

이유는 챗지피티나 제미나이에 물어보면 답해줄거임

추론 강도는 끄기

청크는 1000 이하를 권장함

이유는 돌려보면 안다

동시 작업 수는 무조건 1

분당 요청 수는 무제한인 0

검열 오류 시 청크 분할 재시도는 딱히 건들 필요는 없음

동적 용어집 주입 활성화는 켜주고 청크당 최대 항목수는 기본 청크가 낮으니

10에 최대 문자수는 500 정도로

대충 이렇게 설정해주고 용어집 추출후 번역 돌려보면

모델이 비램에 적재되고 글카가 미친듯이 돌아가기 시작할 거임

번역 도중 모델이 글카에서 넘쳐서 시퓨도 같이 돌아가는지 확인하고 싶다면

파워쉘이나 cmd를 실행해서

ollama ps 를 입력하면 현재 가동중인 모델이 표시됨

거기에서 GPU 100%라고 되어있으면 안넘친거고

CPU랑 나눠 먹고 있는게 보이면 넘친 거임

사실 여기까진 쉬운데 이 다음부터는

청크가 넘쳐서 재시도가 뜰 경우 컨텍스트와 청크값과 조정하는 것과

무검열 LLM에 걸맞는 프롬프트 재작성

전력 소모량을 줄이기 위한 언더볼팅과 저소음을 위한 쿨링팬 커브값 조정과의 싸움이 될 거임

청크 넘치는 거 관련해서는 재시도하면 정상적으로 번역되니 무시해도 상관없지만

빨간 경고문 뜨면서 원문 반환 뜨면 그 부분은 번역 누락이기 때문에 그건 설정값 조정해서 잡아줘야함

아무튼 비램 16긱 이상의 글카를 가지고 있다면 한번쯤은 해볼만 함

퀄리티도 생각보다 괜찮음

26b q8 기준으로 프롬프트 설정만 잘 해주면 3.8 라이트에 준하는 수준은 나오는 거 같음

R9700에서 12만자 기준 40분 정도 걸리고

5070ti나 5080으로 돌린다면 대역폭이 더 큰 만큼 속도도 더 나올테고

사용 모델도 더 작은 거니까 20분 중후반 정도 걸리지 않을까 싶음

9070xt는 r9700이랑 대역폭이 동일하니 비슷할 거고

셋팅만 다 된다면 자는 동안에 2~3시간 돌려준다 생각하고 하면 좋을 것 같다

22
19 comments
생각보다 사양이 아주 높지는 않군요
올해 여름에 5070ti장만했는데 그동안 주로 유튜브 보는 용도였음 ㅋㅋ, 이색히 날먹충 생활 이젠 끝내줘야겠군
각 언어 번역에 특화된 모델이 나와서 중국어->한국어 번역만 해주는 모델이 나오면 필요한 요구가 훨씬 줄어들텐데...
요새 검열이 너무 심해서 로컬로 무검열 모델 돌리려고 생각 중인데 이런 좋은 글이... 감사합니다
4090으로 할만 할까요?
4090이면 24기가니까 26b q6_k는 좀 빠듯하고 q5_k_m이라면 컨텍스트 32k 넣어도 안정적으로 100퍼 적재될 것 같음 메모리 대역폭도 1긱이라 훨 빠르고 다만 최대 소비전력이 450이니까 전력제한 안걸면 전기 5~600w 쳐먹을 테니 언더볼팅 할 줄 모르면 전력제한이라도 -20 주는게 좋음 그러면 360w까지 내려가니 성능은 크게 안줄고 온도랑 전기 소비량도 100w 이상 줄어들 것 번역 속도는 r9700보다 30퍼 정도는 빠르겠다
이건 꿀팁 인정할 수 밖에 없는 꿀정보네요. 다만 제 노트북 성능으론 절대 못 쓰는 방법인 것도 확실해 보입니다. ㅠ 좋은 정보 감사합니다!
rtx5070은 12gb라 돌리기 힘들려나요?
19b q3kl 돌려봐도 될 것 같은데 퀄리티는 모르겠지만 시도는 해볼만 할지도
? 이거 이렇게 쓰는거 였음?
.....2070s 8기가는 뭘 할수있죠?
개추ㅡ
가료판 번역이 가능하다니
(edited )
5080에 64긱램인데 일반램은 많아도 크게 소용없는거 맞음? 일반램에 글카램 넘어서는 큰 모델 꾸겨넣을순 있는데 그럼 겁나 느리다던데 v램에 쏙 드가는 모델은 너무 멍청하지 않을까 싶고
https://kone.gg/s/ainovel/bPxnWD-2zBVTfWBRVoVAab?q=%EB%A1%9C%EC%BB%AC 가능이야 하지 시간과 전기요금이 3배 더 듦
[deleted] (edited )

Deleted comment.

All
Title
Body