로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4505 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60559
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60559 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90547
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90547 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204536
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204536 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252664
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252664 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243256
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243256 -14
소리
[구매보급][성십자 오호 목소리】○리시스터, 에치치치 광선에 패배~욕구해방 절정짝짓기
이름뭐하지
05/17
14776
61
[구매보급][성십자 오호 목소리】○리시스터, 에치치치 광선에 패배~욕구해방 절정짝짓기
소리
이름뭐하지
05/17 14776 61
야짤
[きんなぎ] 하루 재워주기만 해도 얼굴에 앉아주는 누나
edo
05/17
5133
10
[きんなぎ] 하루 재워주기만 해도 얼굴에 앉아주는 누나
야짤
edo
05/17 5133 10
야짤
[丸木戸ギド] 딱밤
edo
05/17
6444
7
[丸木戸ギド] 딱밤
야짤
edo
05/17 6444 7
질문
비월선행록 능소궁 루트 도움좀..
spsur12
05/17
6045
0
비월선행록 능소궁 루트 도움좀..
질문
spsur12
05/17 6045 0
요청
[복구 요청] 黒電車 서클 복구 부탁드립니다!
asd135086
05/17
3154
0
[복구 요청] 黒電車 서클 복구 부탁드립니다!
요청
asd135086
05/17 3154 0
소리
[요청복구] [후타나리,역ㅇㄴ] 고귀한 수인족 후타나리 여왕님의 열등 종족 마조펫화 조교
summer4552
05/17
13837
38
[요청복구] [후타나리,역ㅇㄴ] 고귀한 수인족 후타나리 여왕님의 열등 종족 마조펫화 조교
소리
summer4552
05/17 13837 38
질문
이젠 도파민없인 살수없는 몸이 되어버렸어
wlswls
05/17
7757
1
이젠 도파민없인 살수없는 몸이 되어버렸어
질문
wlswls
05/17 7757 1
질문
혹시 탭이 애매한 글이 있으면 글 두개 써도 됩니까?
whitesky26
05/17
3306
0
혹시 탭이 애매한 글이 있으면 글 두개 써도 됩니까?
질문
whitesky26
05/17 3306 0
질문
비월선행록 1.289버젼 페트리온도 새버젼으로 바뀐거임?
냐논노냔니
05/17
3016
0
비월선행록 1.289버젼 페트리온도 새버젼으로 바뀐거임?
질문
냐논노냔니
05/17 3016 0
미번
미번/버전업 RJ01594150 皆が僕をバカにして！
humansari
05/17
19997
29
미번/버전업 RJ01594150 皆が僕をバカにして！
미번
humansari
05/17 19997 29
야짤
방주 정리 프로그램 만들고 있는데
rariru
05/17
5976
9
방주 정리 프로그램 만들고 있는데
야짤
rariru
05/17 5976 9
질문
판타지 여주물 할만한거 뭐 있으려나
puccho
05/17
6046
1
판타지 여주물 할만한거 뭐 있으려나
질문
puccho
05/17 6046 1
질문
블랙소울2 세이브 날라가서 새로 깔았는데 원래 설정 없냐
wsnp
05/17
4122
0
블랙소울2 세이브 날라가서 새로 깔았는데 원래 설정 없냐
질문
wsnp
05/17 4122 0
요청
[복구 요청] VJ011179 여름의 사슬(夏ノ鎖)
hasdrubal
05/17
3884
3
[복구 요청] VJ011179 여름의 사슬(夏ノ鎖)
요청
hasdrubal
05/17 3884 3
일반
교칙겜 세이브 파일이나 치트 적용법 좀 알려줄 수 없음?
yongrong
05/17
4664
-1
교칙겜 세이브 파일이나 치트 적용법 좀 알려줄 수 없음?
일반
yongrong
05/17 4664 -1
요청
[복구요청] 천재마법소녀가 불합리하게 존엄 파괴당하는 이야기
ㅇㅇ
05/17
2893
0
[복구요청] 천재마법소녀가 불합리하게 존엄 파괴당하는 이야기
요청
ㅇㅇ
05/17 2893 0
동인
ai번역 고전) 크림슨 세피리아 하드
1Q2W3E4R
05/17
8041
13
ai번역 고전) 크림슨 세피리아 하드
동인
1Q2W3E4R
05/17 8041 13
동인
Tsukako 평소와 같은 옥상
SK
05/17
14178
73
Tsukako 평소와 같은 옥상
동인
SK
05/17 14178 73
일반
버전업) 성스러운화신
youcause
05/17
3304
4
버전업) 성스러운화신
일반
youcause
05/17 3304 4
질문
최근에 체험판 올라온 게임인데 이거 아는사람?
zmxmsmam
05/17
4631
2
최근에 체험판 올라온 게임인데 이거 아는사람?
질문
zmxmsmam
05/17 4631 2
요청
[복구 요청] 방과후의 스케베 클럽 1.4
mylife12
05/17
2404
0
[복구 요청] 방과후의 스케베 클럽 1.4
요청
mylife12
05/17 2404 0
일반
토끼와 수성과 발라드 오랜만에 생각나네
krsel
05/17
5961
1
토끼와 수성과 발라드 오랜만에 생각나네
일반
krsel
05/17 5961 1
질문
던브 진짜 재미있네 최대한 빨리 초회차 하는게 좋나?
fusbriwidhei32
05/17
4270
0
던브 진짜 재미있네 최대한 빨리 초회차 하는게 좋나?
질문
fusbriwidhei32
05/17 4270 0
요청
[복구요청] [소리] 고귀한 수인족 후타나리 여왕님의 열등 종족 마조펫화 조교
지상탈환대작전
05/17
7759
0
[복구요청] [소리] 고귀한 수인족 후타나리 여왕님의 열등 종족 마조펫화 조교
요청
지상탈환대작전
05/17 7759 0
질문
SiNiSistar1 시니시스타1편 한글패치 없이 해도 ㄱㅊ함?
asdf117
05/17
5480
0
SiNiSistar1 시니시스타1편 한글패치 없이 해도 ㄱㅊ함?
질문
asdf117
05/17 5480 0
요청
[복구요청] RJ01204891 露出少女涼代せりな
ashleria
05/17
5866
1
[복구요청] RJ01204891 露出少女涼代せりな
요청
ashleria
05/17 5866 1
후기 및 공략
진짜 구형 겜은 돌리기 존나힘드네
sivafor1
05/17
3259
3
진짜 구형 겜은 돌리기 존나힘드네
후기 및 공략
sivafor1
05/17 3259 3
질문
망가 찾아주실 수 있나요
goldenking1029
05/17
4431
0
망가 찾아주실 수 있나요
질문
goldenking1029
05/17 4431 0
번역
자작) 사토리 오나서포 + tts추가
tutu32323
05/17
37473
168
자작) 사토리 오나서포 + tts추가
번역
tutu32323
05/17 37473 168
질문
비타퀘 업스케일 올라온김에 해볼까하는데 질문 있음
ashfiebdk
05/17
3517
1
비타퀘 업스케일 올라온김에 해볼까하는데 질문 있음
질문
ashfiebdk
05/17 3517 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43