로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4687 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60606
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60606 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90681
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90681 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205101
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205101 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252896
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252896 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243519
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243519 -14
소리
[전연령] 우에다 레이나 (上田麗奈) ASMR 단독 작품 모음
argoklarke
05/15
11342
52
[전연령] 우에다 레이나 (上田麗奈) ASMR 단독 작품 모음
소리
argoklarke
05/15 11342 52
유틸
내가 쓰려고 만든 동음 정리 유틸
yeppi
05/15
8237
24
내가 쓰려고 만든 동음 정리 유틸
유틸
yeppi
05/15 8237 24
복구
[요청복구] RJ316841, RJ264999 2종
toung
05/14
23695
47
[요청복구] RJ316841, RJ264999 2종
복구
toung
05/14 23695 47
유틸
Texture Tool for Unity 6 ( Mono / IL2CPP ) v0.1.1 최초 배포 버전
argoklarke
05/14
15163
28
Texture Tool for Unity 6 ( Mono / IL2CPP ) v0.1.1 최초 배포 버전
유틸
argoklarke
05/14 15163 28
앱
구매보급 츤데레 여동생과 나의 힐링되는 일상 ~Intimate Days with My Tsundere Housemate~ (모바일 버전)
Mock
05/14
33827
79
구매보급 츤데레 여동생과 나의 힐링되는 일상 ~Intimate Days with My Tsundere Housemate~ (모바일 버전)
앱
Mock
05/14 33827 79
동인
[구매보급][직번][rk-2]친구엄마가 내 거근으로 마구 가버렸던 추억편
프로베스트캣
05/14
37800
171
[구매보급][직번][rk-2]친구엄마가 내 거근으로 마구 가버렸던 추억편
동인
프로베스트캣
05/14 37800 171
소리
【한국어 자막판】 섹스프렌드 겸임 친구(♀) -시원시원한 질내사정 SEX가 딱 좋아- (섹스프렌드 겸임 친구 시리즈 1편)
rbals2213
05/14
16695
93
【한국어 자막판】 섹스프렌드 겸임 친구(♀) -시원시원한 질내사정 SEX가 딱 좋아- (섹스프렌드 겸임 친구 시리즈 1편)
소리
rbals2213
05/14 16695 93
복구
26.05.21, 90일) RJ096241 비타민 퀘스트 1.06. 개선 26.05.21.7z
ㅇㅇ
05/14
21345
66
26.05.21, 90일) RJ096241 비타민 퀘스트 1.06. 개선 26.05.21.7z
복구
ㅇㅇ
05/14 21345 66
소리
아라포 마법무녀 프리티 아리시아
siroyume
05/14
16233
54
아라포 마법무녀 프리티 아리시아
소리
siroyume
05/14 16233 54
번역
[AI번역]요코시마 수행 마을 + 같은 서클 게임 3개 (수정1, 버전업)
솔라셀
05/14
59984
277
[AI번역]요코시마 수행 마을 + 같은 서클 게임 3개 (수정1, 버전업)
번역
솔라셀
05/14 59984 277
미번
[구매보급][번역요청] RJ275394 Demon's Slaves
이름없는신사
05/14
22932
33
[구매보급][번역요청] RJ275394 Demon's Slaves
미번
이름없는신사
05/14 22932 33
소리
[구매보급][자막][변태 달콤 오호] 코스프레 유부녀 보○랑 질내사정 달콤 오호 Night♪
이름뭐하지
05/14
27000
90
[구매보급][자막][변태 달콤 오호] 코스프레 유부녀 보○랑 질내사정 달콤 오호 Night♪
소리
이름뭐하지
05/14 27000 90
번역
[기계번역] Abyss Of Pleasure v0.2.6 Remastered (번역파일만)
karuparu13
05/14
45663
101
[기계번역] Abyss Of Pleasure v0.2.6 Remastered (번역파일만)
번역
karuparu13
05/14 45663 101
소리
[자막파일만] RJ413277
puella
05/14
18482
38
[자막파일만] RJ413277
소리
puella
05/14 18482 38
동인
휴일 전날에는 밤새도록 생 이로하스(b)
요요코코
05/14
15205
23
휴일 전날에는 밤새도록 생 이로하스(b)
동인
요요코코
05/14 15205 23
복구
[요청복구] RJ01213836 히프노스 카드 ~타인의 메이드를 최면 게임으로 타락시킨다~
gamja81
05/14
27869
78
[요청복구] RJ01213836 히프노스 카드 ~타인의 메이드를 최면 게임으로 타락시킨다~
복구
gamja81
05/14 27869 78
동인
미번,닭장맛집 레구라 신작) 편협한 사랑
kjalar
05/14
30187
46
미번,닭장맛집 레구라 신작) 편협한 사랑
동인
kjalar
05/14 30187 46
미번
[구매보급][번역요청] RJ01544753 모브 얼굴인데 엄청 야한 몸매의 누나
Liye
05/14
12863
36
[구매보급][번역요청] RJ01544753 모브 얼굴인데 엄청 야한 몸매의 누나
미번
Liye
05/14 12863 36
영상
이블린 & 아스트라 (ZZZ)
브레머튼
05/14
27004
136
이블린 & 아스트라 (ZZZ)
영상
브레머튼
05/14 27004 136
미번
[구매보급/번역요청] RJ01372071 거유 언니의 오칭포시고키 GAME★슬롯 게임형 사정 관리+ 특전 데스모드
summer4552
05/14
23663
49
[구매보급/번역요청] RJ01372071 거유 언니의 오칭포시고키 GAME★슬롯 게임형 사정 관리+ 특전 데스모드
미번
summer4552
05/14 23663 49
미번
[미번] [VR] Meltynight VR Premium 0.6.7
ddalmmelier
05/14
18484
16
[미번] [VR] Meltynight VR Premium 0.6.7
미번
ddalmmelier
05/14 18484 16
야짤
ai) ---스압--- 뱅드림
Ghost
05/14
11000
22
ai) ---스압--- 뱅드림
야짤
Ghost
05/14 11000 22
야짤
ai) ---스압--- 블아 예스예스미
Ghost
05/14
18355
27
ai) ---스압--- 블아 예스예스미
야짤
Ghost
05/14 18355 27
야짤
ai) ---스압---전생슬 시온
Ghost
05/14
10435
17
ai) ---스압---전생슬 시온
야짤
Ghost
05/14 10435 17
복구
[요청+그냥 복구]미라와 이상한 연금술, 몬무스에 정복 된 세계
blackmalangcalf
05/14
31910
69
[요청+그냥 복구]미라와 이상한 연금술, 몬무스에 정복 된 세계
복구
blackmalangcalf
05/14 31910 69
동인
[haruhisky] 묘쌤은 이렇게 박혔다 1~3 (묘쌤은 이렇게 말했다)
ㅇㅇ
05/14
42149
194
[haruhisky] 묘쌤은 이렇게 박혔다 1~3 (묘쌤은 이렇게 말했다)
동인
ㅇㅇ
05/14 42149 194
영상
자작 MMD 공유
pst0025
05/14
16068
64
자작 MMD 공유
영상
pst0025
05/14 16068 64
동인
[AI작품] 환생했더니 JK라서 일단 아저씨한테 안겨보았다
snciejwbaqqq
05/14
32341
84
[AI작품] 환생했더니 JK라서 일단 아저씨한테 안겨보았다
동인
snciejwbaqqq
05/14 32341 84
복구
[요청복구] 프린세스 새크리파이스
nhu7853
05/14
19180
34
[요청복구] 프린세스 새크리파이스
복구
nhu7853
05/14 19180 34
영상
[청아] 유호 (명조)
브레머튼
05/14
21941
108
[청아] 유호 (명조)
영상
브레머튼
05/14 21941 108
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43