로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4740 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60616
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60616 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90748
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90748 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205233
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205233 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253261
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253261 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243623
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243623 -14
일반
모란2 체험판 진짜 괜히했네
tsukihime
05/08
1358
1
모란2 체험판 진짜 괜히했네
일반
tsukihime
05/08 1358 1
일반
의술사 버그 거의 없음
카라코람
05/08
4000
1
의술사 버그 거의 없음
일반
카라코람
05/08 4000 1
일반
황귀 스피키 뭐임
why않되
05/08
4254
5
황귀 스피키 뭐임
일반
why않되
05/08 4254 5
일반
결국 사버렷서..
이과유령의비밀
05/08
4219
7
결국 사버렷서..
일반
이과유령의비밀
05/08 4219 7
일반
의술사 한 중간정도 한 거 같은데 엄청 재밌네
ashesone
05/08
5180
0
의술사 한 중간정도 한 거 같은데 엄청 재밌네
일반
ashesone
05/08 5180 0
일반
요즘 확 끌리는 겜이 없다
smssp
05/08
3684
0
요즘 확 끌리는 겜이 없다
일반
smssp
05/08 3684 0
일반
아니 질문글 쓰면 그만 잡아먹어 얘들아..
lovesccubus
05/08
4046
1
아니 질문글 쓰면 그만 잡아먹어 얘들아..
일반
lovesccubus
05/08 4046 1
일반
근데 야겜에서 겜 챙기는건 ㄹㅇ 중요하다
afe1231
05/08
4165
5
근데 야겜에서 겜 챙기는건 ㄹㅇ 중요하다
일반
afe1231
05/08 4165 5
일반
Town of magic 분량 ㅈ되네
heney
05/08
4831
0
Town of magic 분량 ㅈ되네
일반
heney
05/08 4831 0
일반
야겜할때 존나 어이없었던거
alumni
05/08
4338
3
야겜할때 존나 어이없었던거
일반
alumni
05/08 4338 3
일반
또 마사지겜을 미루었느냐...
guguki
05/08
3758
3
또 마사지겜을 미루었느냐...
일반
guguki
05/08 3758 3
일반
레바테인 조이플로 전투할 때마다 튕겨서 뭔가 했는데
etihw
05/08
3723
1
레바테인 조이플로 전투할 때마다 튕겨서 뭔가 했는데
일반
etihw
05/08 3723 1
일반
아니, 나혼렙 드라마 진짜로 하는 거였어?
minki
05/08
9042
0
아니, 나혼렙 드라마 진짜로 하는 거였어?
일반
minki
05/08 9042 0
일반
역시 농수간물은 인기가 없군...
412343
05/08
6023
0
역시 농수간물은 인기가 없군...
일반
412343
05/08 6023 0
일반
버전업 하려는데 텍스트 누락있네
saika
05/08
4813
0
버전업 하려는데 텍스트 누락있네
일반
saika
05/08 4813 0
일반
실번 당신은신이야...
메피스토
05/08
2826
-1
실번 당신은신이야...
일반
메피스토
05/08 2826 -1
일반
후기글에 있는 남주물, 여주물 다 받았다.
마법소녀유화
05/08
6081
-2
후기글에 있는 남주물, 여주물 다 받았다.
일반
마법소녀유화
05/08 6081 -2
일반
몬 알람이 와서 뭔내용이지 궁금해서 눌러봤더니 사라짐
fourdragonruler
05/08
1019
-2
몬 알람이 와서 뭔내용이지 궁금해서 눌러봤더니 사라짐
일반
fourdragonruler
05/08 1019 -2
일반
미라와 유랑의 주인 빨리 나왔음 좋겠다
adagh189
05/08
7665
0
미라와 유랑의 주인 빨리 나왔음 좋겠다
일반
adagh189
05/08 7665 0
일반
아 음최도시 이거 미쳐버리겠네
하나의국가하나의민족하나의총통
05/08
3915
-1
아 음최도시 이거 미쳐버리겠네
일반
하나의국가하나의민족하나의총통
05/08 3915 -1
일반
좆같네 벌써 해외 원서 만화사이트들 차단당하네
방랑자
05/08
7477
-6
좆같네 벌써 해외 원서 만화사이트들 차단당하네
일반
방랑자
05/08 7477 -6
일반
이 소방차 실물로 처음 봤는데 가슴이 웅장해졌음
날개 로봇
05/08
4653
3
이 소방차 실물로 처음 봤는데 가슴이 웅장해졌음
일반
날개 로봇
05/08 4653 3
일반
어사일럼 하는 중인데 큰 고민에 빠짐
ㅇㅇ
05/07
3061
0
어사일럼 하는 중인데 큰 고민에 빠짐
일반
ㅇㅇ
05/07 3061 0
일반
출근길에 불난 음식점 살펴봄
화앨
05/07
4955
2
출근길에 불난 음식점 살펴봄
일반
화앨
05/07 4955 2
일반
오늘 올만에 미션머메이드나해야지
루파조아
05/07
3995
-1
오늘 올만에 미션머메이드나해야지
일반
루파조아
05/07 3995 -1
일반
GranEnde:Saga 망했다.
minki
05/07
5206
0
GranEnde:Saga 망했다.
일반
minki
05/07 5206 0
일반
컴퓨터 없는 본가에 사흘간 올라가야하는데 스위치를 챙겨가야하나
ㅇㅇ
05/07
2332
0
컴퓨터 없는 본가에 사흘간 올라가야하는데 스위치를 챙겨가야하나
일반
ㅇㅇ
05/07 2332 0
일반
선행록 어제까지 버전 6이였는데 오늘 또 업뎃했네
페비
05/07
3514
4
선행록 어제까지 버전 6이였는데 오늘 또 업뎃했네
일반
페비
05/07 3514 4
일반
스포) 계승되는자 고독 이거 은근 기믹 직관적이네
sfdewlo2411
05/07
5322
0
스포) 계승되는자 고독 이거 은근 기믹 직관적이네
일반
sfdewlo2411
05/07 5322 0
일반
기습추행 이벤트가 은근 꼴리는듯
puccho
05/07
2688
2
기습추행 이벤트가 은근 꼴리는듯
일반
puccho
05/07 2688 2
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43