로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4624 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60603
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60603 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90639
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90639 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205034
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205034 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252835
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252835 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243455
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243455 -14
일반
3d 포르노 만들어보고 싶은데
qar0010
05/17
9241
-3
3d 포르노 만들어보고 싶은데
일반
qar0010
05/17 9241 -3
일반
...? 이거 미친놈아님?
아로나
05/17
3325
5
...? 이거 미친놈아님?
일반
아로나
05/17 3325 5
일반
체험판을 하면 기다리는게 더 괴로울거같은데
memphis
05/17
3725
4
체험판을 하면 기다리는게 더 괴로울거같은데
일반
memphis
05/17 3725 4
일반
개막장테크 재밌네 ㅋㅋㅋ
nagisa8262
05/17
3113
2
개막장테크 재밌네 ㅋㅋㅋ
일반
nagisa8262
05/17 3113 2
일반
livemaker 번역 작업 3일차
아로나
05/17
1865
3
livemaker 번역 작업 3일차
일반
아로나
05/17 1865 3
일반
쌌으니까 샀다
마사지
05/17
3515
1
쌌으니까 샀다
일반
마사지
05/17 3515 1
일반
야겜뉴비때 혼란스러울만한 점
dimitar
05/17
4344
4
야겜뉴비때 혼란스러울만한 점
일반
dimitar
05/17 4344 4
일반
작품의 압도적인 체급에는 종종 취향이 벗겨지더라
dimitar
05/17
5750
0
작품의 압도적인 체급에는 종종 취향이 벗겨지더라
일반
dimitar
05/17 5750 0
일반
여기도 유명해진 것 같아
블랙패킷
05/17
5556
-2
여기도 유명해진 것 같아
일반
블랙패킷
05/17 5556 -2
일반
AGENT17 슬슬 런각 잡는건가?
중천
05/17
6222
0
AGENT17 슬슬 런각 잡는건가?
일반
중천
05/17 6222 0
일반
건담 시리즈가 벌써 50주년이라니
paragino
05/17
1958
0
건담 시리즈가 벌써 50주년이라니
일반
paragino
05/17 1958 0
일반
바이브코딩 지리네 ㄹㅇ
konkon
05/17
5200
0
바이브코딩 지리네 ㄹㅇ
일반
konkon
05/17 5200 0
일반
나도 드뎌 구매하네
abcde3723
05/17
4846
4
나도 드뎌 구매하네
일반
abcde3723
05/17 4846 4
일반
야한 사이트에서 안 야한거 올려버리기
jiska0
05/17
6472
-3
야한 사이트에서 안 야한거 올려버리기
일반
jiska0
05/17 6472 -3
일반
아 짜여지고싶다
임신촉수고블린
05/17
2721
0
아 짜여지고싶다
일반
임신촉수고블린
05/17 2721 0
일반
주말은 없어져야함
아이기스맘
05/16
4495
0
주말은 없어져야함
일반
아이기스맘
05/16 4495 0
일반
머여 에로검열관 DLC 발매일 떴네?
wasabirice
05/16
5591
6
머여 에로검열관 DLC 발매일 떴네?
일반
wasabirice
05/16 5591 6
일반
아득한 세레스피아 엘데니아 막사 암호 뭐야 대체
junkyhankykanky
05/16
5932
1
아득한 세레스피아 엘데니아 막사 암호 뭐야 대체
일반
junkyhankykanky
05/16 5932 1
일반
좀 의문이라 해야하나
pwuwhs
05/16
4750
0
좀 의문이라 해야하나
일반
pwuwhs
05/16 4750 0
일반
니들은 시니시스타 에네뭐시기 마더 먼저 잡지 마라
ㅇㅇ
05/16
10510
0
니들은 시니시스타 에네뭐시기 마더 먼저 잡지 마라
일반
ㅇㅇ
05/16 10510 0
일반
오하라미 이거 사실 약물세뇌조교물이더만
Komulon
05/16
7960
0
오하라미 이거 사실 약물세뇌조교물이더만
일반
Komulon
05/16 7960 0
일반
sinisistar 2 하다가 도전과제 하나 어캐 꺠는지 모르겠네
ㅇㅇ
05/16
4233
-2
sinisistar 2 하다가 도전과제 하나 어캐 꺠는지 모르겠네
일반
ㅇㅇ
05/16 4233 -2
일반
풍기위원 여음마 그림체 취향 아니라서 묵혀두다가 해보려는 중
NLNS
05/16
4145
1
풍기위원 여음마 그림체 취향 아니라서 묵혀두다가 해보려는 중
일반
NLNS
05/16 4145 1
일반
시골성활 여름편 스팀판도 도전과제 업데이트 해줬으면 좋겠다
돈이조아
05/16
2813
0
시골성활 여름편 스팀판도 도전과제 업데이트 해줬으면 좋겠다
일반
돈이조아
05/16 2813 0
일반
정보글 보다가 쌀먹 개발자 얘기 나와서 말인데
웃흥
05/16
5221
-1
정보글 보다가 쌀먹 개발자 얘기 나와서 말인데
일반
웃흥
05/16 5221 -1
일반
의술사 차기작은 언제 나옴?
bbtt1234
05/16
4209
0
의술사 차기작은 언제 나옴?
일반
bbtt1234
05/16 4209 0
일반
이거 진짜예요?
nagisa8262
05/16
3239
1
이거 진짜예요?
일반
nagisa8262
05/16 3239 1
일반
던브) 블루 씹련 개좆같네 진짜
nagisa8262
05/16
1833
0
던브) 블루 씹련 개좆같네 진짜
일반
nagisa8262
05/16 1833 0
일반
야겜은 성욕의 한계라는 제약때문에 여러개를 다 할수가없어서 아쉽
KALINOTE
05/16
1859
0
야겜은 성욕의 한계라는 제약때문에 여러개를 다 할수가없어서 아쉽
일반
KALINOTE
05/16 1859 0
일반
마녀의유산 해봤는데
ㅇㅇ
05/16
3669
3
마녀의유산 해봤는데
일반
ㅇㅇ
05/16 3669 3
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43