로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4597 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60602
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60602 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90625
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90625 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205005
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205005 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252799
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252799 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243421
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243421 -14
미번
[미번]Fate Grand Mamma(FGM) ver 105
우욿
05/21
6792
16
[미번]Fate Grand Mamma(FGM) ver 105
미번
우욿
05/21 6792 16
일반
[버전업 알림]휴프노즘 번역 1.08 버전업해써
saika
05/21
2396
15
[버전업 알림]휴프노즘 번역 1.08 버전업해써
일반
saika
05/21 2396 15
야짤
AI, 움짤) 그거 알아? 야짤을 넣으면 움짤로 만들어주는 도라에몽이 있대!
drogba
05/21
12668
21
AI, 움짤) 그거 알아? 야짤을 넣으면 움짤로 만들어주는 도라에몽이 있대!
야짤
drogba
05/21 12668 21
야짤
2d에도 검열 쳐 때리면 뭐 어쩌자고...
riden
05/21
9182
22
2d에도 검열 쳐 때리면 뭐 어쩌자고...
야짤
riden
05/21 9182 22
미번
서큐버스 클릭 시뮬레이터
coyotori
05/21
17553
72
서큐버스 클릭 시뮬레이터
미번
coyotori
05/21 17553 72
영상
[한글자막] 백색의 여왕님과 농밀 질내사정 섹스
실루엣21
05/21
32519
169
[한글자막] 백색의 여왕님과 농밀 질내사정 섹스
영상
실루엣21
05/21 32519 169
야짤
89. AI, 셀레스포니아, 청아) 로리화
miso5
05/21
13633
103
89. AI, 셀레스포니아, 청아) 로리화
야짤
miso5
05/21 13633 103
복구
복구 다수
아소필
05/21
41672
171
복구 다수
복구
아소필
05/21 41672 171
번역
[버전업/기본번역/구매보급] 존재감이 옅은 여동생과 간단생활 v1.1
hisben
05/21
65871
1197
[버전업/기본번역/구매보급] 존재감이 옅은 여동생과 간단생활 v1.1
번역
hisben
05/21 65871 1197
동인
Zurikishi-어른스러운 니트씨 시리즈
k8625
05/21
34484
159
Zurikishi-어른스러운 니트씨 시리즈
동인
k8625
05/21 34484 159
동인
AI번역 손식질) 알바직원 주부(41)랑 주3회 강렬하고 변태적인섹스 시켜주니 유두피어싱과 항문으로 흥분하는 초변태주부가 되는 이야기
1Q2W3E4R
05/21
28121
193
AI번역 손식질) 알바직원 주부(41)랑 주3회 강렬하고 변태적인섹스 시켜주니 유두피어싱과 항문으로 흥분하는 초변태주부가 되는 이야기
동인
1Q2W3E4R
05/21 28121 193
동인
Zurikishi-음침한여자애랑 사귀는 만화
k8625
05/21
35056
136
Zurikishi-음침한여자애랑 사귀는 만화
동인
k8625
05/21 35056 136
동인
Zurikishi-폭주족 아이돌짱 모음
k8625
05/21
26876
120
Zurikishi-폭주족 아이돌짱 모음
동인
k8625
05/21 26876 120
동인
작은 갸루 시리즈 모음
k8625
05/21
22598
116
작은 갸루 시리즈 모음
동인
k8625
05/21 22598 116
동인
Zurikishi-하프 서큐버스를 주웠다 시리즈 모음
k8625
05/21
29758
179
Zurikishi-하프 서큐버스를 주웠다 시리즈 모음
동인
k8625
05/21 29758 179
번역
[AI번역]예전에 번역했던거 몇개
솔라셀
05/21
32289
169
[AI번역]예전에 번역했던거 몇개
번역
솔라셀
05/21 32289 169
동인
Zurikishi-동급생 메이드 시리즈 모음
k8625
05/21
26021
139
Zurikishi-동급생 메이드 시리즈 모음
동인
k8625
05/21 26021 139
동인
Zurikishi-멘헤라 여자애 모음
k8625
05/21
36118
212
Zurikishi-멘헤라 여자애 모음
동인
k8625
05/21 36118 212
번역
버전업, 자체한글) RJ01604009 너스콜 경비원: Append.1 간호사 증원 패치
딸ㄱ기맛
05/21
29480
154
버전업, 자체한글) RJ01604009 너스콜 경비원: Append.1 간호사 증원 패치
번역
딸ㄱ기맛
05/21 29480 154
동인
[기번/검수][A-10]-백주 백탁 클리 노출 절정(유루캠△)
serdic
05/21
14443
75
[기번/검수][A-10]-백주 백탁 클리 노출 절정(유루캠△)
동인
serdic
05/21 14443 75
동인
(청아, 노모, 컬러)봐줘 봐줘 좀 더
에우리알레
05/21
22851
56
(청아, 노모, 컬러)봐줘 봐줘 좀 더
동인
에우리알레
05/21 22851 56
영상
[한글자막] 버큠 프리큐어 SPECIAL MOVIE Vol.003 ~큐어 비트와의 만남~
실루엣21
05/21
27732
177
[한글자막] 버큠 프리큐어 SPECIAL MOVIE Vol.003 ~큐어 비트와의 만남~
영상
실루엣21
05/21 27732 177
영상
충간) 출처불명 MMD 2개
nokchabap
05/21
16228
40
충간) 출처불명 MMD 2개
영상
nokchabap
05/21 16228 40
유틸
[노모패치] 갓 딴 임신시키기 좋은 날
나나바
05/21
9807
39
[노모패치] 갓 딴 임신시키기 좋은 날
유틸
나나바
05/21 9807 39
영상
바레트 & 티파 (파판)
브레머튼
05/21
17357
81
바레트 & 티파 (파판)
영상
브레머튼
05/21 17357 81
영상
질베르타 (엔드필드)
브레머튼
05/21
14756
85
질베르타 (엔드필드)
영상
브레머튼
05/21 14756 85
영상
로산나 (니케)
브레머튼
05/21
17171
98
로산나 (니케)
영상
브레머튼
05/21 17171 98
영상
[5YK+5LiW6YGK5bq1] 진 만큼 몸으로 갚을게요♡~여사장 AV 데뷔 전편자막
pomihi
05/21
27469
88
[5YK+5LiW6YGK5bq1] 진 만큼 몸으로 갚을게요♡~여사장 AV 데뷔 전편자막
영상
pomihi
05/21 27469 88
정보
척영 근황에 대해 또 알아보자
zerocoke00
05/21
10670
27
척영 근황에 대해 또 알아보자
정보
zerocoke00
05/21 10670 27
동인
직번) [choukutetsushitsugan] 魔마마 사냥 -전직 마법소녀 엄마의 타락 배란 교미-
qlalfsla
05/21
35710
236
직번) [choukutetsushitsugan] 魔마마 사냥 -전직 마법소녀 엄마의 타락 배란 교미-
동인
qlalfsla
05/21 35710 236
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43