로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4470 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60468
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60468 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90522
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90522 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204241
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204241 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252592
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252592 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243185
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243185 -14
일반
난 거짓말을 하면 죽는병에 걸림.
아이기스맘
04/16
4512
-5
난 거짓말을 하면 죽는병에 걸림.
일반
아이기스맘
04/16 4512 -5
일반
하드 넘 비싸네
Ghost
04/16
10225
0
하드 넘 비싸네
일반
Ghost
04/16 10225 0
일반
이 게임도 언제 완성 되려나
minki
04/16
10075
-2
이 게임도 언제 완성 되려나
일반
minki
04/16 10075 -2
일반
아니 세상에 어제 드림랜드 다시해보니까 하나도 기억 안나더라 ㅋㅋ
lovesccubus
04/16
6279
0
아니 세상에 어제 드림랜드 다시해보니까 하나도 기억 안나더라 ㅋㅋ
일반
lovesccubus
04/16 6279 0
일반
파라서큐 재밌네...
liberty
04/16
10477
0
파라서큐 재밌네...
일반
liberty
04/16 10477 0
일반
이번 분기는 진짜 맛있는 작이 하나도 안나오네
jeemin0511
04/16
8451
-1
이번 분기는 진짜 맛있는 작이 하나도 안나오네
일반
jeemin0511
04/16 8451 -1
일반
허접마법소녀
쩝냡
04/16
6402
5
허접마법소녀
일반
쩝냡
04/16 6402 5
일반
내 마무리 필살
SML
04/16
5321
1
내 마무리 필살
일반
SML
04/16 5321 1
일반
야하게 안 느껴진다는 게 너무 슬프다.
ddd123124
04/16
5261
-3
야하게 안 느껴진다는 게 너무 슬프다.
일반
ddd123124
04/16 5261 -3
일반
스팀에 괜찮아 보이는거 발견했다
going9090
04/16
6131
1
스팀에 괜찮아 보이는거 발견했다
일반
going9090
04/16 6131 1
일반
일본삼국 봤는데...
SML
04/16
4722
-1
일본삼국 봤는데...
일반
SML
04/16 4722 -1
일반
소미소프트 버그있네
아이기스맘
04/16
8270
-2
소미소프트 버그있네
일반
아이기스맘
04/16 8270 -2
일반
오늘 게임 진짜 많이 받았는데
springbychance
04/16
7703
0
오늘 게임 진짜 많이 받았는데
일반
springbychance
04/16 7703 0
일반
시퀄 시작했는데 재밌네
turngame
04/16
5753
1
시퀄 시작했는데 재밌네
일반
turngame
04/16 5753 1
일반
dlsite를 점점 스팀처럼 쓰고 있는 것 같아
극악무도한BSS사랑꾼
04/16
5330
2
dlsite를 점점 스팀처럼 쓰고 있는 것 같아
일반
극악무도한BSS사랑꾼
04/16 5330 2
일반
미거통 넬유통
짐승의심장
04/16
9086
1
미거통 넬유통
일반
짐승의심장
04/16 9086 1
일반
집가면 AIMT 써봐야겠다
begpipe
04/15
6470
-3
집가면 AIMT 써봐야겠다
일반
begpipe
04/15 6470 -3
일반
이터넘 괜히 했다 하지말걸
immuune
04/15
14227
0
이터넘 괜히 했다 하지말걸
일반
immuune
04/15 14227 0
일반
신인마왕과 100명의 연인들 리세하는데
mini1223
04/15
5346
0
신인마왕과 100명의 연인들 리세하는데
일반
mini1223
04/15 5346 0
일반
하드야 아직 버틸만하지?
Nate Higgerson
04/15
5128
1
하드야 아직 버틸만하지?
일반
Nate Higgerson
04/15 5128 1
일반
나 패트리온 후원으로 게임공개 안하는 서클 처음봐
루파조아
04/15
6387
1
나 패트리온 후원으로 게임공개 안하는 서클 처음봐
일반
루파조아
04/15 6387 1
일반
던브 노움 양식장 클리어했다
hmd004
04/15
4821
-2
던브 노움 양식장 클리어했다
일반
hmd004
04/15 4821 -2
일반
악몽저택 올만에 보는 갓겜이네
awa-subaru
04/15
6643
0
악몽저택 올만에 보는 갓겜이네
일반
awa-subaru
04/15 6643 0
일반
코드 안적으면 중복 검사할때 ㅈㄴ 불편하네
d5d2d3d
04/15
3000
1
코드 안적으면 중복 검사할때 ㅈㄴ 불편하네
일반
d5d2d3d
04/15 3000 1
일반
Inn mh wife도 ntr엔딩 있었나보네
페로로질라
04/15
4962
0
Inn mh wife도 ntr엔딩 있었나보네
일반
페로로질라
04/15 4962 0
일반
오늘도 이미지 노가다 달렸다 그리고 ai는 신이다
joyed47106
04/15
7525
7
오늘도 이미지 노가다 달렸다 그리고 ai는 신이다
일반
joyed47106
04/15 7525 7
일반
언홀리메이든 2회차 달릴 엄두가 안 나네
shiroi
04/15
11662
1
언홀리메이든 2회차 달릴 엄두가 안 나네
일반
shiroi
04/15 11662 1
일반
프로넌트 진짜배기 해피엔딩 추가됐었구나
happy3
04/15
3005
0
프로넌트 진짜배기 해피엔딩 추가됐었구나
일반
happy3
04/15 3005 0
일반
수면 패턴 망가지겠다
vivy
04/15
5404
1
수면 패턴 망가지겠다
일반
vivy
04/15 5404 1
일반
너스콜 너무 어렵네
낭낭하게
04/15
3737
0
너스콜 너무 어렵네
일반
낭낭하게
04/15 3737 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43