로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4674 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90660
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90660 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205071
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205071 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252869
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252869 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243506
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243506 -14
영상
젠존제) 엔젤디 4p
darkunicorn
05/16
19510
109
젠존제) 엔젤디 4p
영상
darkunicorn
05/16 19510 109
번역
[요청복구] [RJ01540816] 창해의 레이디 스파이 ver.1.0.0 (번역파일만)
andal
05/16
43724
122
[요청복구] [RJ01540816] 창해의 레이디 스파이 ver.1.0.0 (번역파일만)
번역
andal
05/16 43724 122
복구
[요청복구] RJ231296 나이트테일 ナイトテール Kr v1.12
stonerock
05/16
14977
38
[요청복구] RJ231296 나이트테일 ナイトテール Kr v1.12
복구
stonerock
05/16 14977 38
영상
블아) 미요 강제 + 순애
darkunicorn
05/16
23346
100
블아) 미요 강제 + 순애
영상
darkunicorn
05/16 23346 100
소리
[구매보급] RJ01601558(후타), RJ01581759, RJ01577122
stitch
05/16
13862
70
[구매보급] RJ01601558(후타), RJ01581759, RJ01577122
소리
stitch
05/16 13862 70
동인
Mankai Kaika 작품모음
ㅇㅇ
05/16
23147
97
Mankai Kaika 작품모음
동인
ㅇㅇ
05/16 23147 97
복구
(요청복구) Futa Familly 0.245 번역
Onko
05/16
25208
38
(요청복구) Futa Familly 0.245 번역
복구
Onko
05/16 25208 38
야짤
AI) 무표정쨩 갱뱅
miso5
05/16
17212
93
AI) 무표정쨩 갱뱅
야짤
miso5
05/16 17212 93
복구
[요청복구]Evil Goddess Ver1.092 복구
로켓드릴킥
05/16
23303
43
[요청복구]Evil Goddess Ver1.092 복구
복구
로켓드릴킥
05/16 23303 43
영상
청아) 사죠 유키미
darkunicorn
05/16
25352
102
청아) 사죠 유키미
영상
darkunicorn
05/16 25352 102
복구
[요청복구/스캇] 수상한 마사지 체험판 EX
be정상인
05/16
24620
45
[요청복구/스캇] 수상한 마사지 체험판 EX
복구
be정상인
05/16 24620 45
영상
청?아) Hⓐreⓒhipⓟai 레나 2종류 + 코하루 2종류
darkunicorn
05/16
22272
96
청?아) Hⓐreⓒhipⓟai 레나 2종류 + 코하루 2종류
영상
darkunicorn
05/16 22272 96
야짤
ai)스커크 선생님4 완전굴복 bbc주의
ezmood
05/16
8782
52
ai)스커크 선생님4 완전굴복 bbc주의
야짤
ezmood
05/16 8782 52
야짤
ai)원신 스커크선생님 참교육 3
ezmood
05/16
13194
41
ai)원신 스커크선생님 참교육 3
야짤
ezmood
05/16 13194 41
영상
후원보급,Br@n)서큐버스 하렘 + 통합편집
비밀봉투
05/16
18072
82
후원보급,Br@n)서큐버스 하렘 + 통합편집
영상
비밀봉투
05/16 18072 82
번역
[AI번역, 검수] 아득한 세레스피아 1.0.5
제로콜라라이트
05/16
85920
357
[AI번역, 검수] 아득한 세레스피아 1.0.5
번역
제로콜라라이트
05/16 85920 357
동인
인기 게임 스트리머의 성생활
나나세마루
05/16
42677
247
인기 게임 스트리머의 성생활
동인
나나세마루
05/16 42677 247
동인
AI역식, Mafuyu) 춘풍정 최음비화 3
sexe1
05/16
15039
53
AI역식, Mafuyu) 춘풍정 최음비화 3
동인
sexe1
05/16 15039 53
동인
(청아, 노모, yukino minato)와라베 단지
에우리알레
05/16
25464
94
(청아, 노모, yukino minato)와라베 단지
동인
에우리알레
05/16 25464 94
소리
[구매보급] [스캇물포함] 의붓어머니 대변 외3
책먹는망아지
05/16
10304
46
[구매보급] [스캇물포함] 의붓어머니 대변 외3
소리
책먹는망아지
05/16 10304 46
번역
[AI번역][VJ004665] Innocent Blue 이노센트 블루 (패치파일만)
호빵할배
05/16
26779
67
[AI번역][VJ004665] Innocent Blue 이노센트 블루 (패치파일만)
번역
호빵할배
05/16 26779 67
동인
hechima koubou 같은반 건방진 갸루는 처녀였습니다.
SK
05/16
21562
91
hechima koubou 같은반 건방진 갸루는 처녀였습니다.
동인
SK
05/16 21562 91
동인
Poriuretan 기생 고블린
SK
05/16
30902
196
Poriuretan 기생 고블린
동인
SK
05/16 30902 196
미번
[미번 복구]RJ220960 네코로노미콘 복구
printink
05/16
17381
25
[미번 복구]RJ220960 네코로노미콘 복구
미번
printink
05/16 17381 25
복구
[자체번역] 스칼렛 이스케이프 체험판 ScarletEscapeDemo_ver2
송편
05/16
44020
174
[자체번역] 스칼렛 이스케이프 체험판 ScarletEscapeDemo_ver2
복구
송편
05/16 44020 174
동인
[번역기+검수][urakan] 폭유엄마와 의붓아들들
alen
05/16
13614
77
[번역기+검수][urakan] 폭유엄마와 의붓아들들
동인
alen
05/16 13614 77
동인
펌,RK-2] 의붓어머니의 장난감이 된 나
kjalar
05/16
20465
52
펌,RK-2] 의붓어머니의 장난감이 된 나
동인
kjalar
05/16 20465 52
번역
던전 앤 브라이드v1.56 통합 모드v4.0 업뎃알림
지나가던사람
05/16
32189
73
던전 앤 브라이드v1.56 통합 모드v4.0 업뎃알림
번역
지나가던사람
05/16 32189 73
동인
[Hoeeeng]그 날, 내 usb에 담긴 것은 - 1 중국어 원본+ ai번역
qpsjcb10
05/16
24086
39
[Hoeeeng]그 날, 내 usb에 담긴 것은 - 1 중국어 원본+ ai번역
동인
qpsjcb10
05/16 24086 39
번역
<링크 수정>[한글패치만] subverse 1.2.01
mybest
05/16
37033
62
<링크 수정>[한글패치만] subverse 1.2.01
번역
mybest
05/16 37033 62
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43