로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4693 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60607
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60607 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90681
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90681 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205103
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205103 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252898
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252898 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243524
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243524 -14
일반
최신화, 미번 추가 번역, 개선) RJ193467 재업로드
ㅇㅇ
05/02
3772
7
최신화, 미번 추가 번역, 개선) RJ193467 재업로드
일반
ㅇㅇ
05/02 3772 7
일반
딱 한번만이라도 좋으니까 나랑 해줘 너무 게임만 했나
Doghot
05/02
2589
2
딱 한번만이라도 좋으니까 나랑 해줘 너무 게임만 했나
일반
Doghot
05/02 2589 2
일반
Thorn sin 체험판 괜히했다
렐루
05/02
3328
0
Thorn sin 체험판 괜히했다
일반
렐루
05/02 3328 0
일반
올해 에보도 북두는 안심안전
kunarin
05/02
4513
1
올해 에보도 북두는 안심안전
일반
kunarin
05/02 4513 1
일반
방주가 불어나고 있는데...
Lenti_Plasmid
05/02
3210
0
방주가 불어나고 있는데...
일반
Lenti_Plasmid
05/02 3210 0
일반
젠평은 공식 탓이라는 말 납득
argoklarke
05/02
2241
2
젠평은 공식 탓이라는 말 납득
일반
argoklarke
05/02 2241 2
일반
만들던 겜 던지고 숨돌린다며 딴겜 만드는 놈들 치고
ㅇㅇ
05/02
2418
2
만들던 겜 던지고 숨돌린다며 딴겜 만드는 놈들 치고
일반
ㅇㅇ
05/02 2418 2
일반
종말 DLC 갓겜이구만!
lucas382
05/02
2714
0
종말 DLC 갓겜이구만!
일반
lucas382
05/02 2714 0
일반
셀레스포니아는 버전이 되게 많네
yaskabura
05/02
2512
0
셀레스포니아는 버전이 되게 많네
일반
yaskabura
05/02 2512 0
일반
올것이 와버림...
박호박
05/02
5414
0
올것이 와버림...
일반
박호박
05/02 5414 0
일반
풍기위원 여음마 재밌는데
abram98
05/02
1376
-1
풍기위원 여음마 재밌는데
일반
abram98
05/02 1376 -1
일반
11일 전까지 자료 얼마나 받아놓을 수 있을까
karatro
05/02
2822
0
11일 전까지 자료 얼마나 받아놓을 수 있을까
일반
karatro
05/02 2822 0
일반
사실 돈이 있다해도 어중간하게 있으면 안돼.
demonhunter
05/02
3200
-4
사실 돈이 있다해도 어중간하게 있으면 안돼.
일반
demonhunter
05/02 3200 -4
일반
오 ~ 시발련들이 F사이트도 쳐 막았네?
demonhunter
05/02
4223
3
오 ~ 시발련들이 F사이트도 쳐 막았네?
일반
demonhunter
05/02 4223 3
일반
모바일로 할만한먼가없나
kokorogawakuwaku
05/02
1951
-1
모바일로 할만한먼가없나
일반
kokorogawakuwaku
05/02 1951 -1
일반
Vpn 추천글 많네 나도 하나 추천해야지
쩝냡
05/02
1936
-19
Vpn 추천글 많네 나도 하나 추천해야지
일반
쩝냡
05/02 1936 -19
일반
믿을 건 미국 뿐이야
starrr
05/02
6773
78
믿을 건 미국 뿐이야
일반
starrr
05/02 6773 78
일반
세븐데이즈 갓작이네 이거 ㅋㅋ
sdfi12312
05/02
3125
0
세븐데이즈 갓작이네 이거 ㅋㅋ
일반
sdfi12312
05/02 3125 0
일반
mantis-x 작가 또 게임 만드네요
skskshi123
05/02
2317
0
mantis-x 작가 또 게임 만드네요
일반
skskshi123
05/02 2317 0
일반
분명하려고 받은 야겜들인데 뭔차인지 모르것음
여동생킬러
05/02
1252
0
분명하려고 받은 야겜들인데 뭔차인지 모르것음
일반
여동생킬러
05/02 1252 0
일반
구련휘정 아쉬운점
myamya
05/02
1133
0
구련휘정 아쉬운점
일반
myamya
05/02 1133 0
일반
이제 다들 이와라 어떻게 들어감?
시장바닥
05/02
2279
-5
이제 다들 이와라 어떻게 들어감?
일반
시장바닥
05/02 2279 -5
일반
염월선행록 드디어 정식 출시 했나보네요
아쿠아
05/02
4066
0
염월선행록 드디어 정식 출시 했나보네요
일반
아쿠아
05/02 4066 0
일반
지금 만든다는 vpn 있는데 이거 쓸 수 있으려나
lefrah3
05/02
2898
4
지금 만든다는 vpn 있는데 이거 쓸 수 있으려나
일반
lefrah3
05/02 2898 4
일반
그닥 인기없는 서클 신작이 오늘 나와서
발렌타인
05/02
3837
1
그닥 인기없는 서클 신작이 오늘 나와서
일반
발렌타인
05/02 3837 1
일반
말딸 안 하는데 타키온은 이상하게 꼴림
sinak
05/02
2751
4
말딸 안 하는데 타키온은 이상하게 꼴림
일반
sinak
05/02 2751 4
일반
야리몬 치트 없이 깨고 있는데 재밌네
farin
05/02
2544
0
야리몬 치트 없이 깨고 있는데 재밌네
일반
farin
05/02 2544 0
일반
걱정 마셈
ㅇㅇ
05/02
4174
-6
걱정 마셈
일반
ㅇㅇ
05/02 4174 -6
일반
구련휘정 버그 좀 많이 열받네
haeni2
05/02
2678
1
구련휘정 버그 좀 많이 열받네
일반
haeni2
05/02 2678 1
일반
구동휘정3 뒤지게 꼴리네..
hopec
05/02
3641
0
구동휘정3 뒤지게 꼴리네..
일반
hopec
05/02 3641 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43