로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4729 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60616
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60616 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90743
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90743 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205227
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205227 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253233
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253233 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243615
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243615 -14
야짤
ai,청아,버튜버)코코로쨩 마이크로비키니
gpsel157
05/12
19244
26
ai,청아,버튜버)코코로쨩 마이크로비키니
야짤
gpsel157
05/12 19244 26
복구
이전에 가지고 있던 것 복구(10개)
ziririri123
05/12
51432
169
이전에 가지고 있던 것 복구(10개)
복구
ziririri123
05/12 51432 169
영상
[LYCO]리오&토키 처벌쇼
ㅇㅇ
05/12
35416
83
[LYCO]리오&토키 처벌쇼
영상
ㅇㅇ
05/12 35416 83
영상
古い(furui) 모음
쀏꿱이
05/12
35533
159
古い(furui) 모음
영상
쀏꿱이
05/12 35533 159
야짤
ガナイショウ(가나이쇼우) 26.3. 눈나
kuuki
05/12
10704
41
ガナイショウ(가나이쇼우) 26.3. 눈나
야짤
kuuki
05/12 10704 41
영상
회복술사의 재시작 서비스씬 모음
고죠/센세
05/12
41934
206
회복술사의 재시작 서비스씬 모음
영상
고죠/센세
05/12 41934 206
복구
[90일복구] 요청자료 5종
Ghost
05/12
41968
110
[90일복구] 요청자료 5종
복구
Ghost
05/12 41968 110
번역
[AI번역/초반검수] 쾌락의 저주(The Curse of Pleasure) v1.0
weller703
05/12
72647
245
[AI번역/초반검수] 쾌락의 저주(The Curse of Pleasure) v1.0
번역
weller703
05/12 72647 245
번역
대리업로드 번역게임 6개
미스터장
05/12
77092
246
대리업로드 번역게임 6개
번역
미스터장
05/12 77092 246
영상
[한글자막] [NightHawk(ナイトホーク)] incest village インセストヴィレッジ
lximiad
05/12
30335
73
[한글자막] [NightHawk(ナイトホーク)] incest village インセストヴィレッジ
영상
lximiad
05/12 30335 73
동인
Ai번역) 여동생의 친구가 동경하던 G컵 갸루 코스플레이어였던 이야기 2
customer121
05/12
29665
180
Ai번역) 여동생의 친구가 동경하던 G컵 갸루 코스플레이어였던 이야기 2
동인
customer121
05/12 29665 180
번역
[구매보급] [버전업] RJ01452526 이상적인 히키코모리 생활 ~부녀의 꽁냥꽁냥 동거~ 1.1.6 26.05.12 "26.05.22(수정)"
gkqisq
05/12
34849
174
[구매보급] [버전업] RJ01452526 이상적인 히키코모리 생활 ~부녀의 꽁냥꽁냥 동거~ 1.1.6 26.05.12 "26.05.22(수정)"
번역
gkqisq
05/12 34849 174
야짤
[GIF] (후타, 보추, 수?간 포함) QW1wbGVjdGVk gif 모음집
hannanas
05/12
14480
47
[GIF] (후타, 보추, 수?간 포함) QW1wbGVjdGVk gif 모음집
야짤
hannanas
05/12 14480 47
야짤
AI, 셀레스포니아) 아마네 데이트편
miso5
05/12
11699
112
AI, 셀레스포니아) 아마네 데이트편
야짤
miso5
05/12 11699 112
미번
[버전업] [구매보급] RJ01588884 이노센트 도터 v1.1.1
gkqisq
05/12
11426
45
[버전업] [구매보급] RJ01588884 이노센트 도터 v1.1.1
미번
gkqisq
05/12 11426 45
영상
QW1wbGVjdGVk 모음집 없데이트 알림
hannanas
05/12
23748
81
QW1wbGVjdGVk 모음집 없데이트 알림
영상
hannanas
05/12 23748 81
미번
[구매보급] RJ432000 성처리가 있는 학교 2023.04.26
gkqisq
05/12
16803
35
[구매보급] RJ432000 성처리가 있는 학교 2023.04.26
미번
gkqisq
05/12 16803 35
복구
(요청복구, 미검수) Cursed Armor 2
zeri1590
05/12
17911
49
(요청복구, 미검수) Cursed Armor 2
복구
zeri1590
05/12 17911 49
미번
[미번] 오네쇼타 마을의 엣치한 여름방학 스팀 노모 일어판
미스터장
05/12
9810
44
[미번] 오네쇼타 마을의 엣치한 여름방학 스팀 노모 일어판
미번
미스터장
05/12 9810 44
동인
[atahuta] 발정기 한창 오나홀 씨.
ㅇㅇ
05/12
42865
276
[atahuta] 발정기 한창 오나홀 씨.
동인
ㅇㅇ
05/12 42865 276
동인
[Croriin/노모] 마녀가 아끼는 것
ㅇㅇ
05/12
25370
160
[Croriin/노모] 마녀가 아끼는 것
동인
ㅇㅇ
05/12 25370 160
작업현황
감각 차단 암컷화 트랩! 손번역 및 노모작업 현황
미스터장
05/12
12363
36
감각 차단 암컷화 트랩! 손번역 및 노모작업 현황
작업현황
미스터장
05/12 12363 36
동인
[ai번역=오오토리 마히로] 나의 이세계 하렘 1
mybest
05/12
17075
42
[ai번역=오오토리 마히로] 나의 이세계 하렘 1
동인
mybest
05/12 17075 42
영상
[유부녀/레이프/밀프쇼타/서양](보루토) 히나타의 숨겨진 욕망
Ghost
05/12
29337
117
[유부녀/레이프/밀프쇼타/서양](보루토) 히나타의 숨겨진 욕망
영상
Ghost
05/12 29337 117
영상
[한글자막] 미시 여교사, 쇼타 사정 도와주기 (上편)
실루엣21
05/12
18343
97
[한글자막] 미시 여교사, 쇼타 사정 도와주기 (上편)
영상
실루엣21
05/12 18343 97
유틸
QW1wbGVjdGVk 블렌더 파일 공유 첫번째 9.74GB
hannanas
05/12
15586
21
QW1wbGVjdGVk 블렌더 파일 공유 첫번째 9.74GB
유틸
hannanas
05/12 15586 21
영상
[bWlyYWNhbg== / RJ01602232] 전생 용사가 즉시 함락 마법으로 이세계 무쌍!! [전편]
yozuna
05/12
26568
178
[bWlyYWNhbg== / RJ01602232] 전생 용사가 즉시 함락 마법으로 이세계 무쌍!! [전편]
영상
yozuna
05/12 26568 178
일반
요몽원 이미지 번역하면 수요 있나?
losress
05/12
5825
55
요몽원 이미지 번역하면 수요 있나?
일반
losress
05/12 5825 55
동인
미번) [airu] 폭유에 엉덩이가 커다란 흑장발 무녀씨에게 사랑이 무거운 개변태봉사로 쥐어짜인다
hun99
05/12
14023
26
미번) [airu] 폭유에 엉덩이가 커다란 흑장발 무녀씨에게 사랑이 무거운 개변태봉사로 쥐어짜인다
동인
hun99
05/12 14023 26
번역
[AI/이미지번역] Esurience 일본풍 미인 소꿉친구와 숨겨진 갈망
미식이네
05/12
41476
168
[AI/이미지번역] Esurience 일본풍 미인 소꿉친구와 숨겨진 갈망
번역
미식이네
05/12 41476 168
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43