로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4636 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90644
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90644 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205039
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205039 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252844
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252844 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243467
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243467 -14
정보
스타메이커 스토리 신소식
handoro
04/30
10003
19
스타메이커 스토리 신소식
정보
handoro
04/30 10003 19
동인
[미번] 수영부 고문 선생 쿤니편 part.1
츠바키미유
04/30
18705
35
[미번] 수영부 고문 선생 쿤니편 part.1
동인
츠바키미유
04/30 18705 35
미번
[미번] 미번 일겜 9개 + 미번 양겜 3개
미스터장
04/30
18426
66
[미번] 미번 일겜 9개 + 미번 양겜 3개
미번
미스터장
04/30 18426 66
미번
[복구] [미번,구매보급] [료나] RJ01543217 벌주기 소녀들 R (おしおき娘々R) v1.3+ 동일 서클 전작 4개
r4gsdrg
04/30
14600
39
[복구] [미번,구매보급] [료나] RJ01543217 벌주기 소녀들 R (おしおき娘々R) v1.3+ 동일 서클 전작 4개
미번
r4gsdrg
04/30 14600 39
정보
타락하지 않는 마녀와 걱정 많은 길마군 4월 기사
미식이네
04/30
18170
36
타락하지 않는 마녀와 걱정 많은 길마군 4월 기사
정보
미식이네
04/30 18170 36
미번
[미번] Sword Art Online The Trap of Breath Concealed Magic ver.β6 (26.04.30)
미스터장
04/30
19735
76
[미번] Sword Art Online The Trap of Breath Concealed Magic ver.β6 (26.04.30)
미번
미스터장
04/30 19735 76
야짤
ai) NTR 접대골프 2
ai0098
04/30
15949
89
ai) NTR 접대골프 2
야짤
ai0098
04/30 15949 89
미번
[미번] 어떤 부부의 반제(변제) 계획 ver.26.04.22 + DLC ver.26.04.11
미스터장
04/30
17919
58
[미번] 어떤 부부의 반제(변제) 계획 ver.26.04.22 + DLC ver.26.04.11
미번
미스터장
04/30 17919 58
동인
AI번역)[Shiwasu no okina] 이 학교의 모든 여학생의 윗입과 아랫입은 무한 친교라는 걸 알고 있는 사람은 나뿐?! 2편 (음모 有/無)
allooww
04/30
45170
165
AI번역)[Shiwasu no okina] 이 학교의 모든 여학생의 윗입과 아랫입은 무한 친교라는 걸 알고 있는 사람은 나뿐?! 2편 (음모 有/無)
동인
allooww
04/30 45170 165
동인
AI번역)[sasamori tomoe] 게이밍 하렘 5
allooww
04/30
30349
139
AI번역)[sasamori tomoe] 게이밍 하렘 5
동인
allooww
04/30 30349 139
동인
직번) [Minamida Usuke] 성의의 증명 (식질 조언 구함)
qlalfsla
04/30
22412
47
직번) [Minamida Usuke] 성의의 증명 (식질 조언 구함)
동인
qlalfsla
04/30 22412 47
영상
재밌는거 만들어옴
ㅇㅇ
04/30
29339
197
재밌는거 만들어옴
영상
ㅇㅇ
04/30 29339 197
야짤
AI, 셀레스포니아) 후배랑 백합
miso5
04/30
11246
98
AI, 셀레스포니아) 후배랑 백합
야짤
miso5
04/30 11246 98
동인
구매보급) 사정 참기 데스게임 ~ 사정하면 죽는 남자 vs 사정시키지 않으면 죽는 여자 ~
GOOD
04/30
28873
62
구매보급) 사정 참기 데스게임 ~ 사정하면 죽는 남자 vs 사정시키지 않으면 죽는 여자 ~
동인
GOOD
04/30 28873 62
정보
에노키후 서클근황
sorbe123
04/30
6853
20
에노키후 서클근황
정보
sorbe123
04/30 6853 20
영상
TU1EdHlwZTg3 모음집 업데이트 알림
hannanas
04/30
21804
51
TU1EdHlwZTg3 모음집 업데이트 알림
영상
hannanas
04/30 21804 51
미번
[구매보급,번역요청] (보추,게이,후타) 1분간 항문 섹스 하지 않으면 자지가 되는 RPG 1.02
모모
04/30
9154
15
[구매보급,번역요청] (보추,게이,후타) 1분간 항문 섹스 하지 않으면 자지가 되는 RPG 1.02
미번
모모
04/30 9154 15
동인
[미번/구매보급] [Shiwasu no okina] 이 학교의 모든 여학생의 윗입과 아랫입은 무한 친교라는 걸 알고 있는 사람은 나뿐?! 2편 (음모 有/無)
없
04/30
16475
21
[미번/구매보급] [Shiwasu no okina] 이 학교의 모든 여학생의 윗입과 아랫입은 무한 친교라는 걸 알고 있는 사람은 나뿐?! 2편 (음모 有/無)
동인
없
04/30 16475 21
번역
구매보급) 방과후의 술래잡기
화앨
04/30
53234
192
구매보급) 방과후의 술래잡기
번역
화앨
04/30 53234 192
동인
[번역] (개씨발 존나 심한 닭장 주의 주의) [Tawara Hiryuu] 성처리 의무화 세계 1~9
아줌마좋아
04/30
29886
135
[번역] (개씨발 존나 심한 닭장 주의 주의) [Tawara Hiryuu] 성처리 의무화 세계 1~9
동인
아줌마좋아
04/30 29886 135
영상
[수간 + 이종간] 질 발렌타인 & 좀비견 & 네메시스 (바이오하자드)
브레머튼
04/30
25495
80
[수간 + 이종간] 질 발렌타인 & 좀비견 & 네메시스 (바이오하자드)
영상
브레머튼
04/30 25495 80
정보
비의 괴물 속편 제작중
nyamberry
04/30
10858
31
비의 괴물 속편 제작중
정보
nyamberry
04/30 10858 31
영상
deyui 모음집 재업
moka413
04/30
26524
147
deyui 모음집 재업
영상
moka413
04/30 26524 147
동인
구매보급) 우리 반의 그라비아 아이돌이 절륜 자◯에 함락될 때까지
GOOD
04/30
30378
77
구매보급) 우리 반의 그라비아 아이돌이 절륜 자◯에 함락될 때까지
동인
GOOD
04/30 30378 77
영상
체인소맨
브레머튼
04/30
19552
94
체인소맨
영상
브레머튼
04/30 19552 94
동인
직번)[Gonza] 나만의 농익은 아내 (45) ~나이 차이 따위~(하)~
dresss
04/30
12595
72
직번)[Gonza] 나만의 농익은 아내 (45) ~나이 차이 따위~(하)~
동인
dresss
04/30 12595 72
영상
UGlndGFyb3Rhcm8= 3개자막 맹글어옴
gombobest
04/30
17062
83
UGlndGFyb3Rhcm8= 3개자막 맹글어옴
영상
gombobest
04/30 17062 83
소리
[구매보급/NTR] 소꿉친구 여고생 여친의 NTR 보고【굉음 오호 소리】
오호이야
04/30
11908
82
[구매보급/NTR] 소꿉친구 여고생 여친의 NTR 보고【굉음 오호 소리】
소리
오호이야
04/30 11908 82
복구
[요청 복구] 시니시스타 2 폭유모드
kk0101
04/30
27684
69
[요청 복구] 시니시스타 2 폭유모드
복구
kk0101
04/30 27684 69
정보
유부녀 세리아의 타락과 배덕 발매일 결정
nyamberry
04/30
5646
24
유부녀 세리아의 타락과 배덕 발매일 결정
정보
nyamberry
04/30 5646 24
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43