로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4597 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60602
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60602 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90625
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90625 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205005
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205005 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252799
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252799 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243421
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243421 -14
영상
엘렌 오랄 & 핸드잡 (ZZZ)
브레머튼
04/28
24757
131
엘렌 오랄 & 핸드잡 (ZZZ)
영상
브레머튼
04/28 24757 131
야짤
ai, 이터널 리턴) 수영복 마를렌과 순애 섹스
kjh9304
04/28
15742
69
ai, 이터널 리턴) 수영복 마를렌과 순애 섹스
야짤
kjh9304
04/28 15742 69
번역
[구매보급][버전업][DLC포함] 타락신관: 여동생과 악마의 혈통 v1.3.2 steam 04/26/1237
Ghost
04/28
125779
629
[구매보급][버전업][DLC포함] 타락신관: 여동생과 악마의 혈통 v1.3.2 steam 04/26/1237
번역
Ghost
04/28 125779 629
영상
Shaggy Susu 신작 원신 감우
ㅇㅇ
04/28
16753
142
Shaggy Susu 신작 원신 감우
영상
ㅇㅇ
04/28 16753 142
미번
[미번보급] お姉ちゃんにはナイショの同居生活——血より濃いミルクティー関係
karoru
04/28
18012
29
[미번보급] お姉ちゃんにはナイショの同居生活——血より濃いミルクティー関係
미번
karoru
04/28 18012 29
소리
(구매보급/ai 번역/NTL/트름 주의) 【NTR 타락】남자친구가 있는 오만한 미나토구 여성을 감금하고 7일간 훈육하다~
Ghost
04/28
15082
74
(구매보급/ai 번역/NTL/트름 주의) 【NTR 타락】남자친구가 있는 오만한 미나토구 여성을 감금하고 7일간 훈육하다~
소리
Ghost
04/28 15082 74
동인
직번) [AI번역] [Punifuka Ume] 누님계의 유부녀는 배신의 끝에 네토라레 당한다
코코네
04/28
30129
106
직번) [AI번역] [Punifuka Ume] 누님계의 유부녀는 배신의 끝에 네토라레 당한다
동인
코코네
04/28 30129 106
후기 및 공략
타락신관 DLC 추가된점 및 여관 이벤트 분기점 공략 및 후기
asdf788
04/28
26192
47
타락신관 DLC 추가된점 및 여관 이벤트 분기점 공략 및 후기
후기 및 공략
asdf788
04/28 26192 47
정보
[메이초기주쿠] 【루나와 색욕의 고도】 제작 #3
날개 로봇
04/28
11574
17
[메이초기주쿠] 【루나와 색욕의 고도】 제작 #3
정보
날개 로봇
04/28 11574 17
소리
【초밀착 속삭임】 파파♡~ 몽글몽글 F컵의 의붓딸에게서 계속 달콤달콤 속삭임♡ 엄마가 잠든 옆에서 밀착 처벌 아이 만들기 에치♡~ 【듬뿍 무성음】
키리안
04/28
13100
108
【초밀착 속삭임】 파파♡~ 몽글몽글 F컵의 의붓딸에게서 계속 달콤달콤 속삭임♡ 엄마가 잠든 옆에서 밀착 처벌 아이 만들기 에치♡~ 【듬뿍 무성음】
소리
키리안
04/28 13100 108
동인
[Migihaji] 러브가 아니라면 프리섹스 1~2
ㅇㅇ
04/28
40546
203
[Migihaji] 러브가 아니라면 프리섹스 1~2
동인
ㅇㅇ
04/28 40546 203
번역
[수정알림] 대리업로드 번역게임 수정된거 재업
미스터장
04/28
37733
110
[수정알림] 대리업로드 번역게임 수정된거 재업
번역
미스터장
04/28 37733 110
동인
[직번] [Kagto] 반찬 당번의 성태 - 딸감 여신 마치다짱
acefs
04/28
40708
180
[직번] [Kagto] 반찬 당번의 성태 - 딸감 여신 마치다짱
동인
acefs
04/28 40708 180
영상
[4K] 타카기 양, 이미지 비디오(?)에 출연하다
실루엣21
04/28
31714
131
[4K] 타카기 양, 이미지 비디오(?)에 출연하다
영상
실루엣21
04/28 31714 131
동인
(노모화) [Shiwasu No Okina] 그녀 그이 그녀 -단행본 버전 작업중-
xbox
04/28
18732
70
(노모화) [Shiwasu No Okina] 그녀 그이 그녀 -단행본 버전 작업중-
동인
xbox
04/28 18732 70
동인
[Gamogamo] 이웃집의 음침퇴폐(다우너) 모녀에게 착정당하는 이야기
ㅇㅇ
04/28
35435
234
[Gamogamo] 이웃집의 음침퇴폐(다우너) 모녀에게 착정당하는 이야기
동인
ㅇㅇ
04/28 35435 234
복구
내가 맛있게 먹었던거 복구 (청아)
순애좋아
04/28
83485
336
내가 맛있게 먹었던거 복구 (청아)
복구
순애좋아
04/28 83485 336
미번
[구매보급] [버전업] RJ01588884 외 1
gkqisq
04/28
14149
46
[구매보급] [버전업] RJ01588884 외 1
미번
gkqisq
04/28 14149 46
소리
[구매보급]왕궁 여자 기사의 처녀 연애 - 마지못해 그녀는 당신을 사랑한다
이름뭐하지
04/28
10468
56
[구매보급]왕궁 여자 기사의 처녀 연애 - 마지못해 그녀는 당신을 사랑한다
소리
이름뭐하지
04/28 10468 56
소리
[구매보급] 【한국어 자막판】 【1시간 50분】 당신을 놓아주지 않아! 초밀착♪ 달콤한 속삭임 변태 체험판〜3명의 히로인 모음집〜
puella
04/28
17685
73
[구매보급] 【한국어 자막판】 【1시간 50분】 당신을 놓아주지 않아! 초밀착♪ 달콤한 속삭임 변태 체험판〜3명의 히로인 모음집〜
소리
puella
04/28 17685 73
번역
[AI] 내 여자친구가 지배 어플로 NTR 방송되고 있는데
미식이네
04/28
68086
221
[AI] 내 여자친구가 지배 어플로 NTR 방송되고 있는데
번역
미식이네
04/28 68086 221
미번
[구매보급] [버전업] RJ01582213 라스티던전2 ver1.0h 2026.04.25
gkqisq
04/28
11761
48
[구매보급] [버전업] RJ01582213 라스티던전2 ver1.0h 2026.04.25
미번
gkqisq
04/28 11761 48
미번
[구매보급] [버전업] [청아] RJ157224 공원장난 한국어 ver.MAKO 1.3 (Type A) 23.11.11
gkqisq
04/28
13087
44
[구매보급] [버전업] [청아] RJ157224 공원장난 한국어 ver.MAKO 1.3 (Type A) 23.11.11
미번
gkqisq
04/28 13087 44
후기 및 공략
(초스압,스토리스포x)性処理用勇者 성처리용용사 후기 및 짧공략
끄얽돍
04/28
13886
21
(초스압,스토리스포x)性処理用勇者 성처리용용사 후기 및 짧공략
후기 및 공략
끄얽돍
04/28 13886 21
동인
[AI번역] [kojirou] 환상거유
cjd08
04/28
12095
36
[AI번역] [kojirou] 환상거유
동인
cjd08
04/28 12095 36
유틸
자동 소미 해적판의 해적판의 해적판 (260503 13:58 v1.3.5 업데이트)
bellbell
04/28
13533
38
자동 소미 해적판의 해적판의 해적판 (260503 13:58 v1.3.5 업데이트)
유틸
bellbell
04/28 13533 38
일반
Re:Dive 뉴토끼
의인화
04/28
24540
204
Re:Dive 뉴토끼
일반
의인화
04/28 24540 204
야짤
어떤 버튜버 사진들~
지나가던허접a
04/28
15528
31
어떤 버튜버 사진들~
야짤
지나가던허접a
04/28 15528 31
소리
[구매보급]서머 폴리
이름뭐하지
04/28
14075
74
[구매보급]서머 폴리
소리
이름뭐하지
04/28 14075 74
영상
리오 - Chill like that
Poznan
04/28
24448
89
리오 - Chill like that
영상
Poznan
04/28 24448 89
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43