로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4566 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60597
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60597 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90593
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90593 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204897
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204897 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252758
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252758 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243358
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243358 -14
일반
집가서 던브 창고정리나 해줘야지..
fusbriwidhei32
05/19
4350
0
집가서 던브 창고정리나 해줘야지..
일반
fusbriwidhei32
05/19 4350 0
일반
스포)던브하는 도중 살짝 빡쳤었는데
느아아앗
05/19
2635
0
스포)던브하는 도중 살짝 빡쳤었는데
일반
느아아앗
05/19 2635 0
정보
ballonstranslator + gemma4모듈 / 순차처리 망가 번역기
sexe1
05/19
5969
29
ballonstranslator + gemma4모듈 / 순차처리 망가 번역기
정보
sexe1
05/19 5969 29
일반
존재감 여동생 언제 업뎃하는지 볼려고 dl 댓글 보는데 민심 씹창이네
pajama
05/19
3078
0
존재감 여동생 언제 업뎃하는지 볼려고 dl 댓글 보는데 민심 씹창이네
일반
pajama
05/19 3078 0
번역
[AI 번역] 저속한 몽상 (Vulgar Reverie) [V0.20]
ftzoa
05/19
50600
186
[AI 번역] 저속한 몽상 (Vulgar Reverie) [V0.20]
번역
ftzoa
05/19 50600 186
질문
시퀄 시리즈도 재밌음?
arknight
05/19
1990
1
시퀄 시리즈도 재밌음?
질문
arknight
05/19 1990 1
요청
[복구 요청] Ruled by Rule 손번역 1.2.5 개조판 1.0
dayanghansicksaga
05/19
4337
2
[복구 요청] Ruled by Rule 손번역 1.2.5 개조판 1.0
요청
dayanghansicksaga
05/19 4337 2
번역
[버전업,자체한글] 너네 엄마 + DLC ver.26.04.22
미스터장
05/19
42689
142
[버전업,자체한글] 너네 엄마 + DLC ver.26.04.22
번역
미스터장
05/19 42689 142
질문
게임 찾아요 (청아
rkskxhzk1
05/19
3369
0
게임 찾아요 (청아
질문
rkskxhzk1
05/19 3369 0
후기 및 공략
..아득한 세레스피아 - 스포주의
SML
05/19
5314
7
..아득한 세레스피아 - 스포주의
후기 및 공략
SML
05/19 5314 7
소리
[보이스코믹][구매보급][한] 비밀혼탕EX
책먹는망아지
05/19
18133
83
[보이스코믹][구매보급][한] 비밀혼탕EX
소리
책먹는망아지
05/19 18133 83
번역
[버전업,자체한글] One Iced Latte With Your Breast Milk, Please! ver.1.26.4.6 (26.04.06)
미스터장
05/19
32627
160
[버전업,자체한글] One Iced Latte With Your Breast Milk, Please! ver.1.26.4.6 (26.04.06)
번역
미스터장
05/19 32627 160
질문
영원히 못찾고있는 망가가 있슴(공포)
ovid199
05/19
2309
-2
영원히 못찾고있는 망가가 있슴(공포)
질문
ovid199
05/19 2309 -2
일반
와 DLsite 안드판 앵간하면 사지 말아야겟다
TNT
05/19
2813
1
와 DLsite 안드판 앵간하면 사지 말아야겟다
일반
TNT
05/19 2813 1
요청
[복구요청] 은근히 밝히는 아싸 JK가 야한 셀카를 시작한다는데？ v7
gardner1257
05/19
2839
0
[복구요청] 은근히 밝히는 아싸 JK가 야한 셀카를 시작한다는데？ v7
요청
gardner1257
05/19 2839 0
질문
의술사 자해딜로는 안죽는거 아녔음?
simya1557
05/19
2727
0
의술사 자해딜로는 안죽는거 아녔음?
질문
simya1557
05/19 2727 0
일반
유명한 스쿨데이즈 애니 봄
djwa123
05/19
3233
0
유명한 스쿨데이즈 애니 봄
일반
djwa123
05/19 3233 0
요청
[복구요청] RJ255342 쿠벨의 수가병 AI KR (연출강화패치)
emaesidu1
05/19
2770
0
[복구요청] RJ255342 쿠벨의 수가병 AI KR (연출강화패치)
요청
emaesidu1
05/19 2770 0
질문
선생님들 뉴비인데용.. 정말 궁금한게 있습니다. 몬무스 퀘스트 패러독스 종장에서요...
kbro31
05/19
2511
1
선생님들 뉴비인데용.. 정말 궁금한게 있습니다. 몬무스 퀘스트 패러독스 종장에서요...
질문
kbro31
05/19 2511 1
번역
[보추,버전업알림] 암컷 타락 여장 학교 ver.1.06 (26.04.16)
미스터장
05/19
27366
70
[보추,버전업알림] 암컷 타락 여장 학교 ver.1.06 (26.04.16)
번역
미스터장
05/19 27366 70
일반
요즘은 대놓고 청아캐가 메인 히로인이 아니면
laskokoi
05/19
3100
0
요즘은 대놓고 청아캐가 메인 히로인이 아니면
일반
laskokoi
05/19 3100 0
질문
망가 제목을 찾습니다.
sepllos
05/19
1870
0
망가 제목을 찾습니다.
질문
sepllos
05/19 1870 0
일반
드디어 완성했다
nagisa8262
05/19
2367
1
드디어 완성했다
일반
nagisa8262
05/19 2367 1
후기 및 공략
스포) 의술사 배경설정 내가 이해한게 맞나
ㅇㅇ
05/19
4061
2
스포) 의술사 배경설정 내가 이해한게 맞나
후기 및 공략
ㅇㅇ
05/19 4061 2
일반
스팀판 오우카2 패치성공
helejin424
05/19
2105
3
스팀판 오우카2 패치성공
일반
helejin424
05/19 2105 3
질문
둘만의 생활 1.67버전 회상공간에서 계절별로 되있는건 어떻게 해금함?
advddg
05/19
2011
0
둘만의 생활 1.67버전 회상공간에서 계절별로 되있는건 어떻게 해금함?
질문
advddg
05/19 2011 0
요청
(복구요청) [모바일패치] 부계에잠든 왕녀 ver1.30
aasss554
05/19
4514
0
(복구요청) [모바일패치] 부계에잠든 왕녀 ver1.30
요청
aasss554
05/19 4514 0
질문
응석받이 여름편 코스프레질문
sp0854
05/19
2775
0
응석받이 여름편 코스프레질문
질문
sp0854
05/19 2775 0
동인
직번) [Ma-kurou] 무잔님과 비밀 엣찌
dresss
05/19
21603
95
직번) [Ma-kurou] 무잔님과 비밀 엣찌
동인
dresss
05/19 21603 95
야짤
ai, 찢) 미야비와 데이트 후 잔뜩 연인섹스 했다
kjh9304
05/19
12757
102
ai, 찢) 미야비와 데이트 후 잔뜩 연인섹스 했다
야짤
kjh9304
05/19 12757 102
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43