로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4543 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60590
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60590 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90553
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90553 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204656
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204656 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252709
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252709 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243303
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243303 -14
번역
자체번역) Sister's of Sin
썩은동태눈깔맨
04/24
27427
116
자체번역) Sister's of Sin
번역
썩은동태눈깔맨
04/24 27427 116
영상
3Mura 0424
참새
04/24
23881
112
3Mura 0424
영상
참새
04/24 23881 112
소리
[1+2편][구매보급]음란한 폭유 시스터가 ○밥투성이 자○에 매달려 봉사해 주는 이야기♪
이름뭐하지
04/24
12914
66
[1+2편][구매보급]음란한 폭유 시스터가 ○밥투성이 자○에 매달려 봉사해 주는 이야기♪
소리
이름뭐하지
04/24 12914 66
야짤
코렐라인
Ghost
04/24
14762
97
코렐라인
야짤
Ghost
04/24 14762 97
동인
[미번/번역요청]쌍둥이 월정액 서비스 숙박 플랜
아돌
04/24
21136
35
[미번/번역요청]쌍둥이 월정액 서비스 숙박 플랜
동인
아돌
04/24 21136 35
후기 및 공략
개인적으로 일러가 정말 좋았던 게임 "미아짱은 엣치한 무녀님"
zxc313
04/24
21806
15
개인적으로 일러가 정말 좋았던 게임 "미아짱은 엣치한 무녀님"
후기 및 공략
zxc313
04/24 21806 15
동인
[번역] 에로 트랩 해체팀 갑니다!!
마법우엉
04/24
59286
348
[번역] 에로 트랩 해체팀 갑니다!!
동인
마법우엉
04/24 59286 348
미번
[구매보급/번역요청] RJ01211175 나의 그녀는 정의의 히로인 ～그런 그녀는 오늘도 패할 수 있다～
cain1334
04/24
16939
44
[구매보급/번역요청] RJ01211175 나의 그녀는 정의의 히로인 ～그런 그녀는 오늘도 패할 수 있다～
미번
cain1334
04/24 16939 44
번역
Daily Lives My Countryside 퀘스트 저널 손번역 1차 완료본
감자떡사요
04/24
42276
271
Daily Lives My Countryside 퀘스트 저널 손번역 1차 완료본
번역
감자떡사요
04/24 42276 271
동인
직번]haruhisky)출렁이야 하루히의 당혹
woo15
04/24
22333
73
직번]haruhisky)출렁이야 하루히의 당혹
동인
woo15
04/24 22333 73
동인
[Uno Ryoku] TS고양이 서큐버스 씨는 착정따위 하고 싶지 않아! 3
ashgray
04/24
22980
79
[Uno Ryoku] TS고양이 서큐버스 씨는 착정따위 하고 싶지 않아! 3
동인
ashgray
04/24 22980 79
영상
bmFqYXI 음성추가본
qwesadwe
04/24
28982
101
bmFqYXI 음성추가본
영상
qwesadwe
04/24 28982 101
동인
직번) [Agata] 알몸생활 17화
qlalfsla
04/24
26716
71
직번) [Agata] 알몸생활 17화
동인
qlalfsla
04/24 26716 71
미번
미번,구매보급)대마관 아폴로의 쾌감조교
물개
04/24
10972
25
미번,구매보급)대마관 아폴로의 쾌감조교
미번
물개
04/24 10972 25
동인
여우신 어떠신가요?
ol-lo
04/24
40899
127
여우신 어떠신가요?
동인
ol-lo
04/24 40899 127
미번
[구매보급][번역요청] RJ01453849 触手ポーカー～ならべてイグイグ～ Ver1.0.1
rkrkrkrk777777
04/24
14590
32
[구매보급][번역요청] RJ01453849 触手ポーカー～ならべてイグイグ～ Ver1.0.1
미번
rkrkrkrk777777
04/24 14590 32
야짤
AI) 에니시아와 계약문, 참회실의 비밀
miso5
04/24
13786
89
AI) 에니시아와 계약문, 참회실의 비밀
야짤
miso5
04/24 13786 89
영상
달콤한 복수 (nude / stocking + bgm / SFX 버전)
브레머튼
04/24
22463
79
달콤한 복수 (nude / stocking + bgm / SFX 버전)
영상
브레머튼
04/24 22463 79
정보
5/1 밀크팩토리 신작 정보 공개예정
bluenote298
04/24
7222
21
5/1 밀크팩토리 신작 정보 공개예정
정보
bluenote298
04/24 7222 21
동인
[미번, 번역요청][Zeroyama] 마조 갸루 ~ 이런 오타쿠한테 빠져버렸다니... ~
mumei1234
04/24
29736
50
[미번, 번역요청][Zeroyama] 마조 갸루 ~ 이런 오타쿠한테 빠져버렸다니... ~
동인
mumei1234
04/24 29736 50
영상
마비카 [원신] (기본 + 임신 버전)
브레머튼
04/24
24184
84
마비카 [원신] (기본 + 임신 버전)
영상
브레머튼
04/24 24184 84
후기 및 공략
움짤 다량, 엔딩 스포 포함) Ikisaw ～デカ乳ツインテとイキ我慢の部屋～ 엔딩 후기
Nate Higgerson
04/24
13801
18
움짤 다량, 엔딩 스포 포함) Ikisaw ～デカ乳ツインテとイキ我慢の部屋～ 엔딩 후기
후기 및 공략
Nate Higgerson
04/24 13801 18
번역
[AI번역/NTR주의] 네노토리 v2.0
weller703
04/24
62692
151
[AI번역/NTR주의] 네노토리 v2.0
번역
weller703
04/24 62692 151
영상
[QHD 96f]아카네는 홀려 물들여진다 1, 2편
Shinjiro
04/23
29217
138
[QHD 96f]아카네는 홀려 물들여진다 1, 2편
영상
Shinjiro
04/23 29217 138
번역
[AI번역] 루나와 음욕의 트랩 던전
meari4686
04/23
46696
178
[AI번역] 루나와 음욕의 트랩 던전
번역
meari4686
04/23 46696 178
번역
[AI번역] 왕궁 기사의 디터미네이션
미식이네
04/23
53521
172
[AI번역] 왕궁 기사의 디터미네이션
번역
미식이네
04/23 53521 172
정보
'코스 플레이어 우타네 토레' 내일 발매
라임무르
04/23
18501
29
'코스 플레이어 우타네 토레' 내일 발매
정보
라임무르
04/23 18501 29
야짤
이 씹 개천박한 빵댕이는 뭐냐!
Ghost
04/23
19816
42
이 씹 개천박한 빵댕이는 뭐냐!
야짤
Ghost
04/23 19816 42
세이브
전 개방, 풀 감도 세이브) 변태여친 ~나와 그녀의 두근두근♡ 생방송~ v1.13(26.04.22)
hwiv403
04/23
28362
21
전 개방, 풀 감도 세이브) 변태여친 ~나와 그녀의 두근두근♡ 생방송~ v1.13(26.04.22)
세이브
hwiv403
04/23 28362 21
영상
[구매보급] [청?아, 미번] RJ01582528 押しに弱い女の子が流されエッチで一晩中イキまくる動画
염지
04/23
46596
258
[구매보급] [청?아, 미번] RJ01582528 押しに弱い女の子が流されエッチで一晩中イキまくる動画
영상
염지
04/23 46596 258
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43