로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4698 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60607
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60607 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90685
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90685 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205106
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205106 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252900
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252900 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243536
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243536 -14
일반
생각보다 여기 얼마 안됬구나
굴러다니는돌
05/11
1470
0
생각보다 여기 얼마 안됬구나
일반
굴러다니는돌
05/11 1470 0
일반
처음 8테라 하드 살때까지만 해도 이정도면 한동안 괜찮겠지 싶었지
astart
05/11
2711
0
처음 8테라 하드 살때까지만 해도 이정도면 한동안 괜찮겠지 싶었지
일반
astart
05/11 2711 0
일반
RJ01500551이거 오류 해결할수있을듯
lavia
05/11
2572
10
RJ01500551이거 오류 해결할수있을듯
일반
lavia
05/11 2572 10
일반
비월 이거 혼천단 어케 만드냐
ghok1
05/11
2279
0
비월 이거 혼천단 어케 만드냐
일반
ghok1
05/11 2279 0
일반
의술사 주인공이 너무 개허접이라 겜 갈피를 못잡겠네
ㅇㅇ
05/11
1802
0
의술사 주인공이 너무 개허접이라 겜 갈피를 못잡겠네
일반
ㅇㅇ
05/11 1802 0
일반
실시간 번역기 관련 질문
happy-sagi
05/11
1387
0
실시간 번역기 관련 질문
일반
happy-sagi
05/11 1387 0
일반
이 미친 곰새끼 존나쎄네 진짜
ㅇㅇ
05/11
3240
0
이 미친 곰새끼 존나쎄네 진짜
일반
ㅇㅇ
05/11 3240 0
일반
타락신관 환영버섯 찾고 있는데 뭐노
무지개색아름다운
05/11
1958
0
타락신관 환영버섯 찾고 있는데 뭐노
일반
무지개색아름다운
05/11 1958 0
일반
비월선행록 정도면 갓겜맞는거 같음
cad800
05/11
2959
0
비월선행록 정도면 갓겜맞는거 같음
일반
cad800
05/11 2959 0
일반
ㅋㅋ 겜 재밌네
ㅇㅇ
05/11
1875
0
ㅋㅋ 겜 재밌네
일반
ㅇㅇ
05/11 1875 0
일반
시발 의술사 여기 뭐야
nghj7722
05/11
2173
0
시발 의술사 여기 뭐야
일반
nghj7722
05/11 2173 0
일반
아니 어덜트 비전도 또 오류땜에 팅기내;;;
asdf788
05/11
9536
0
아니 어덜트 비전도 또 오류땜에 팅기내;;;
일반
asdf788
05/11 9536 0
일반
이거 대체 무슨게임인데..(강제 해병포신배틀)
8ct1
05/11
9908
0
이거 대체 무슨게임인데..(강제 해병포신배틀)
일반
8ct1
05/11 9908 0
일반
의술사 시작부터 막혀버렸는데
ㅇㅇ
05/11
4131
0
의술사 시작부터 막혀버렸는데
일반
ㅇㅇ
05/11 4131 0
일반
DL사이트 스마트폰 버전은 DRM 제대로 걸렸군
mrpls
05/11
2430
0
DL사이트 스마트폰 버전은 DRM 제대로 걸렸군
일반
mrpls
05/11 2430 0
일반
내 취향의 게임 찾기 더럽게 힘드네
shiki
05/11
2754
0
내 취향의 게임 찾기 더럽게 힘드네
일반
shiki
05/11 2754 0
일반
나정도면 피해자 아니냐
zeratul138
05/11
6456
0
나정도면 피해자 아니냐
일반
zeratul138
05/11 6456 0
일반
갑자기 기분이 좋아졋어
루파조아
05/11
1733
0
갑자기 기분이 좋아졋어
일반
루파조아
05/11 1733 0
일반
의술사 켜고 10분 했는데 벌써부터 재밌네
ㅇㅇ
05/11
2284
0
의술사 켜고 10분 했는데 벌써부터 재밌네
일반
ㅇㅇ
05/11 2284 0
일반
와 드디어 청소부 전설 이미지 추출 성공했다!!!!!
boids
05/11
2246
7
와 드디어 청소부 전설 이미지 추출 성공했다!!!!!
일반
boids
05/11 2246 7
일반
DL사이트 이제 apk는 없나보네..
shiki
05/11
2005
0
DL사이트 이제 apk는 없나보네..
일반
shiki
05/11 2005 0
일반
버니가든 이라는 게임 존나 괘씸하네...
ahtalka
05/11
5431
0
버니가든 이라는 게임 존나 괘씸하네...
일반
ahtalka
05/11 5431 0
일반
요몽원 해보려는데 이거 뭐냐 ㅅㅂㅋㅋ
김치김치
05/11
4615
2
요몽원 해보려는데 이거 뭐냐 ㅅㅂㅋㅋ
일반
김치김치
05/11 4615 2
일반
[실비김치 외 2건 기존 자료 공유 중단 알림]
yeondooooo
05/11
10688
-7
[실비김치 외 2건 기존 자료 공유 중단 알림]
일반
yeondooooo
05/11 10688 -7
일반
RJ354108 비타퀘 2 피드백 적용 완료 안내
ㅇㅇ
05/11
1385
3
RJ354108 비타퀘 2 피드백 적용 완료 안내
일반
ㅇㅇ
05/11 1385 3
일반
뭔가...먹을게 없는거 같음
siitake92
05/11
1553
-2
뭔가...먹을게 없는거 같음
일반
siitake92
05/11 1553 -2
일반
던브) 이새낀 진짜로 좆됐네 ㅋㅋㅋ
nagisa8262
05/11
2520
1
던브) 이새낀 진짜로 좆됐네 ㅋㅋㅋ
일반
nagisa8262
05/11 2520 1
일반
스포)아니 의술사 개발자 학생이었다고???
realkune
05/11
11022
0
스포)아니 의술사 개발자 학생이었다고???
일반
realkune
05/11 11022 0
일반
크아아악 파일정리 살려다오
yeondooooo
05/11
8352
2
크아아악 파일정리 살려다오
일반
yeondooooo
05/11 8352 2
일반
아 씨발 검색 잘못했다가 스캇물봤네
deaflend
05/11
2549
0
아 씨발 검색 잘못했다가 스캇물봤네
일반
deaflend
05/11 2549 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43