로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4728 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60616
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60616 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90743
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90743 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205227
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205227 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253233
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253233 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243615
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243615 -14
정보
케모노 비슷무리한 사이트 찾음(영상+pc19게임파일+ASMR)
playhsui
05/12
20465
144
케모노 비슷무리한 사이트 찾음(영상+pc19게임파일+ASMR)
정보
playhsui
05/12 20465 144
소리
[구매보급][베개 추천]최강의♀(암컷)는 당신의 신부♪ 저음 마왕님은 모든것을 용서해준다
이름뭐하지
05/12
11796
79
[구매보급][베개 추천]최강의♀(암컷)는 당신의 신부♪ 저음 마왕님은 모든것을 용서해준다
소리
이름뭐하지
05/12 11796 79
동인
[ai번역-쿠리후쿠 미노루] STOP!! 시간 정지 능력으로 꼼짝 못 하는 소녀들에게 미친듯 사정하는 사건
mybest
05/12
27547
88
[ai번역-쿠리후쿠 미노루] STOP!! 시간 정지 능력으로 꼼짝 못 하는 소녀들에게 미친듯 사정하는 사건
동인
mybest
05/12 27547 88
야짤
ai) 제로의 사역마 발정난 공주
Ghost
05/12
17724
19
ai) 제로의 사역마 발정난 공주
야짤
Ghost
05/12 17724 19
동인
[ai노모번역-에츠잔 자쿠수이] 정사에 물든다
mybest
05/12
10398
36
[ai노모번역-에츠잔 자쿠수이] 정사에 물든다
동인
mybest
05/12 10398 36
동인
플래피ー!
hatlatal
05/12
13532
44
플래피ー!
동인
hatlatal
05/12 13532 44
야짤
ai) 나히아 요로즈
Ghost
05/12
8009
19
ai) 나히아 요로즈
야짤
Ghost
05/12 8009 19
동인
[ai번역-히가시고 미칸] 젖내음 물씬 여름방학
mybest
05/12
16057
37
[ai번역-히가시고 미칸] 젖내음 물씬 여름방학
동인
mybest
05/12 16057 37
야짤
길가던 여자애 잡아서 유두 피어스 박기
toscana
05/12
16128
40
길가던 여자애 잡아서 유두 피어스 박기
야짤
toscana
05/12 16128 40
동인
수컷콜라보
hatlatal
05/12
16786
37
수컷콜라보
동인
hatlatal
05/12 16786 37
동인
비가 그칠 때까지만
hatlatal
05/12
28997
99
비가 그칠 때까지만
동인
hatlatal
05/12 28997 99
동인
[ai번역]옆집의 츤데레 서큐버스 아가씨
mybest
05/12
15273
57
[ai번역]옆집의 츤데레 서큐버스 아가씨
동인
mybest
05/12 15273 57
정보
언리얼엔진 파일추출만 하는방법 정리
boids
05/12
5988
16
언리얼엔진 파일추출만 하는방법 정리
정보
boids
05/12 5988 16
동인
[ai번역-비피더스] 성관계 여관
mybest
05/12
14823
55
[ai번역-비피더스] 성관계 여관
동인
mybest
05/12 14823 55
영상
[5/12] 유라 (원신) 미니 HMV
브레머튼
05/12
23084
88
[5/12] 유라 (원신) 미니 HMV
영상
브레머튼
05/12 23084 88
동인
[직번] [Xiong Ling] 호시노 루코 상식개변
maha1004
05/12
24025
35
[직번] [Xiong Ling] 호시노 루코 상식개변
동인
maha1004
05/12 24025 35
번역
[손번역 Ver.0.21] Daily Lives My Countryside 0.3.4.3
감자떡사요
05/12
48516
215
[손번역 Ver.0.21] Daily Lives My Countryside 0.3.4.3
번역
감자떡사요
05/12 48516 215
영상
[스타레일] NO.070 은랑 ( 기본 + 후타)
브레머튼
05/12
18569
111
[스타레일] NO.070 은랑 ( 기본 + 후타)
영상
브레머튼
05/12 18569 111
복구
요청복구) RJ01456652 완전 치○ - 내성적인 J○가 타락할 때까지
ㅇㅇ
05/12
35658
54
요청복구) RJ01456652 완전 치○ - 내성적인 J○가 타락할 때까지
복구
ㅇㅇ
05/12 35658 54
앱
구매보급 PUBPET
Mock
05/12
46351
118
구매보급 PUBPET
앱
Mock
05/12 46351 118
야짤
ai, 붕스) 히메코에게 성처리를 부탁해 보았다
kjh9304
05/12
18689
129
ai, 붕스) 히메코에게 성처리를 부탁해 보았다
야짤
kjh9304
05/12 18689 129
작업현황
[이미지번역 100%] Daily Lives of My Countryside v0.3.4.3
dodoph123
05/11
13228
30
[이미지번역 100%] Daily Lives of My Countryside v0.3.4.3
작업현황
dodoph123
05/11 13228 30
유틸
이미지 다운로더 만들어봄
lordofcinder
05/11
7782
34
이미지 다운로더 만들어봄
유틸
lordofcinder
05/11 7782 34
복구
[요청복구] 인공 학원 2
이상성애
05/11
24290
74
[요청복구] 인공 학원 2
복구
이상성애
05/11 24290 74
미번
[미번] 미번 일겜 8개 + 미번 양겜 6개
미스터장
05/11
15568
61
[미번] 미번 일겜 8개 + 미번 양겜 6개
미번
미스터장
05/11 15568 61
동인
んぴゅ・ゔぃむぞ 세미 롱 짱
SK
05/11
62357
407
んぴゅ・ゔぃむぞ 세미 롱 짱
동인
SK
05/11 62357 407
소리
[구매보급]최○ 조교×백합 여고생/남자 싫어하는 레즈 커플을 방과 후 강○ 봉사
이름뭐하지
05/11
17926
65
[구매보급]최○ 조교×백합 여고생/남자 싫어하는 레즈 커플을 방과 후 강○ 봉사
소리
이름뭐하지
05/11 17926 65
미번
[미번][번역요청] 기도 소녀 샬롯 외 두개
minki
05/11
7158
22
[미번][번역요청] 기도 소녀 샬롯 외 두개
미번
minki
05/11 7158 22
복구
(요청복구) 사교의 포로 노모패치적용
sinryeong
05/11
25668
74
(요청복구) 사교의 포로 노모패치적용
복구
sinryeong
05/11 25668 74
복구
[미검수][RJ227638]나의 H한 여름의 추억 ~누나들과 보낸 8월~
돈키호테가조아
05/11
23803
106
[미검수][RJ227638]나의 H한 여름의 추억 ~누나들과 보낸 8월~
복구
돈키호테가조아
05/11 23803 106
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43