로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4710 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60609
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60609 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90709
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90709 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205147
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205147 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252940
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252940 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243571
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243571 -14
동인
[번역]후타나리와 편리한 친구
마법우엉
05/13
29062
57
[번역]후타나리와 편리한 친구
동인
마법우엉
05/13 29062 57
야짤
AI, 블루아카, 청아) 키보토스 사형수 클럽 특집
xepd5264
05/13
22846
34
AI, 블루아카, 청아) 키보토스 사형수 클럽 특집
야짤
xepd5264
05/13 22846 34
동인
Tsusauto-달밤의 흐트러진 술 ~유부녀는 만취한 남편 옆에서 동료에게 네토라레 당한다~ 전후편
netorare6974
05/13
16891
54
Tsusauto-달밤의 흐트러진 술 ~유부녀는 만취한 남편 옆에서 동료에게 네토라레 당한다~ 전후편
동인
netorare6974
05/13 16891 54
미번
[구매보급][번역요청] 그 즐거웠던 시골에서의 여름방학을 다시…
minki
05/13
10945
31
[구매보급][번역요청] 그 즐거웠던 시골에서의 여름방학을 다시…
미번
minki
05/13 10945 31
동인
오토코노코는 후타나리 누님에게 관리당하고 싶다 [α-AlfLayla]
ㅇㅇ
05/13
14253
56
오토코노코는 후타나리 누님에게 관리당하고 싶다 [α-AlfLayla]
동인
ㅇㅇ
05/13 14253 56
미번
[구매보급][번역요청] 비가 갠 뒤의 소녀
minki
05/13
14048
25
[구매보급][번역요청] 비가 갠 뒤의 소녀
미번
minki
05/13 14048 25
동인
직장 근처 파트타임주부(41)를 집으로 데려가면 10년만의 땀범벅이 된 진심섹스로 거유 젖꼭지가 쭈뼛서고 방뇨절정하는 이야기
1Q2W3E4R
05/13
39195
154
직장 근처 파트타임주부(41)를 집으로 데려가면 10년만의 땀범벅이 된 진심섹스로 거유 젖꼭지가 쭈뼛서고 방뇨절정하는 이야기
동인
1Q2W3E4R
05/13 39195 154
야짤
ai, 명조) 장리와 데이트 후 잔뜩 연인섹스 했다
kjh9304
05/13
16452
111
ai, 명조) 장리와 데이트 후 잔뜩 연인섹스 했다
야짤
kjh9304
05/13 16452 111
소리
[구매보급]순애노예 純愛ドレイ。
이름뭐하지
05/13
9514
63
[구매보급]순애노예 純愛ドレイ。
소리
이름뭐하지
05/13 9514 63
작업현황
소악마 스마트폰 작업현황
toung
05/13
16882
22
소악마 스마트폰 작업현황
작업현황
toung
05/13 16882 22
동인
[ai번역=오오토리 마히로] 나의 이세계 하렘 2
mybest
05/13
17134
35
[ai번역=오오토리 마히로] 나의 이세계 하렘 2
동인
mybest
05/13 17134 35
번역
[이미지번역 100%,수정1]Daily Lives of My Countryside v0.3.4.3
dodoph123
05/13
34121
170
[이미지번역 100%,수정1]Daily Lives of My Countryside v0.3.4.3
번역
dodoph123
05/13 34121 170
동인
[Dekosuke 18gou] 너의 눈동자에 반한 게 아냐 (모자이크 제거 합체판)
사축몬(퇴사)
05/12
35686
79
[Dekosuke 18gou] 너의 눈동자에 반한 게 아냐 (모자이크 제거 합체판)
동인
사축몬(퇴사)
05/12 35686 79
복구
[요청복구] RJ311439 [손번역] 전희 루루카 ver1.1 한글패치 수정3
Ghost
05/12
39898
54
[요청복구] RJ311439 [손번역] 전희 루루카 ver1.1 한글패치 수정3
복구
Ghost
05/12 39898 54
동인
벽자지
안드레
05/12
28519
98
벽자지
동인
안드레
05/12 28519 98
야짤
자
쩝냡
05/12
17295
31
자
야짤
쩝냡
05/12 17295 31
동인
[손번역] kurosu gatari 와일드식 총집편 오마케
uhyoo
05/12
24828
71
[손번역] kurosu gatari 와일드식 총집편 오마케
동인
uhyoo
05/12 24828 71
영상
MurPloxy 복구
ㅔㅔ
05/12
23474
83
MurPloxy 복구
영상
ㅔㅔ
05/12 23474 83
영상
[요청복구/직번]밀크쉐이크1+2편[MaidenMasher+Spizzy]
goovidla
05/12
33172
206
[요청복구/직번]밀크쉐이크1+2편[MaidenMasher+Spizzy]
영상
goovidla
05/12 33172 206
후기 및 공략
이때까지 재밌게 한 게임 후기(스포)
aim762
05/12
32093
62
이때까지 재밌게 한 게임 후기(스포)
후기 및 공략
aim762
05/12 32093 62
동인
공주님은 왕자님보다 못생긴 아저씨를 좋아하지만 NTR같은 건 아닙니다
에우리알레
05/12
26509
101
공주님은 왕자님보다 못생긴 아저씨를 좋아하지만 NTR같은 건 아닙니다
동인
에우리알레
05/12 26509 101
복구
실수했으니 복구 [Freshwomen 2]
zadvoskoi
05/12
34141
59
실수했으니 복구 [Freshwomen 2]
복구
zadvoskoi
05/12 34141 59
소리
[구매보급] RJ01477151 RJ01504060 [한국어 자막판] 남편 밖에 모르는 신혼 유부녀가 ○밥 자○님에게 탁란당하는 이야기♡
r4gsdrg
05/12
20914
85
[구매보급] RJ01477151 RJ01504060 [한국어 자막판] 남편 밖에 모르는 신혼 유부녀가 ○밥 자○님에게 탁란당하는 이야기♡
소리
r4gsdrg
05/12 20914 85
동인
[직번] [청아] [ushidaihuku] 나의 돌 (트릭컬)
yjgtiihty
05/12
12082
59
[직번] [청아] [ushidaihuku] 나의 돌 (트릭컬)
동인
yjgtiihty
05/12 12082 59
야짤
ai)----청아임신스압----이리야
Ghost
05/12
8233
28
ai)----청아임신스압----이리야
야짤
Ghost
05/12 8233 28
동인
후타) [obsession! (Hyoga.)] 무언가 자라난 하지메 3.5
스타더스트
05/12
14739
21
후타) [obsession! (Hyoga.)] 무언가 자라난 하지메 3.5
동인
스타더스트
05/12 14739 21
야짤
ai) 렌탈 치즈루
Ghost
05/12
7201
30
ai) 렌탈 치즈루
야짤
Ghost
05/12 7201 30
야짤
ai) 블아 유메
Ghost
05/12
10993
29
ai) 블아 유메
야짤
Ghost
05/12 10993 29
동인
보추) [Locon]카나메 10
요요코코
05/12
25054
29
보추) [Locon]카나메 10
동인
요요코코
05/12 25054 29
영상
[청아/근친/서양](BEN10)Day With GWEN
Ghost
05/12
33486
137
[청아/근친/서양](BEN10)Day With GWEN
영상
Ghost
05/12 33486 137
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43