로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4668 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90658
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90658 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205063
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205063 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252864
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252864 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243501
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243501 -14
소리
이거 어떻게 받는거에요???
gansik
05/16
14849
52
이거 어떻게 받는거에요???
소리
gansik
05/16 14849 52
유틸
시니시스타 2 업뎃기념 모드 모음
sims9876
05/16
20896
105
시니시스타 2 업뎃기념 모드 모음
유틸
sims9876
05/16 20896 105
정보
존재감 여동생 조만간 v1.1 업뎃 예정 + 지금그리고있는 추가장면들
kkkkkk0909
05/16
12328
20
존재감 여동생 조만간 v1.1 업뎃 예정 + 지금그리고있는 추가장면들
정보
kkkkkk0909
05/16 12328 20
미번
[미번/구매보급/번역요청] Star Knightess Aura 스팀판
giraffeman
05/16
17818
43
[미번/구매보급/번역요청] Star Knightess Aura 스팀판
미번
giraffeman
05/16 17818 43
동인
(미번, AI) [Mamaya] 알바 하는 곳의 파트 주부 2, 2.5
츠바키미유
05/16
12583
30
(미번, AI) [Mamaya] 알바 하는 곳의 파트 주부 2, 2.5
동인
츠바키미유
05/16 12583 30
미번
[다운로드 오류 안내] 요몽원 v1.7.2
kkkkkk0909
05/16
23063
36
[다운로드 오류 안내] 요몽원 v1.7.2
미번
kkkkkk0909
05/16 23063 36
복구
[요청복구] 마법소녀 셀레스포니아 Maple 개조 버전 복구
V
05/16
17562
40
[요청복구] 마법소녀 셀레스포니아 Maple 개조 버전 복구
복구
V
05/16 17562 40
야짤
AI) 간호사 무표정쨩
miso5
05/16
15178
124
AI) 간호사 무표정쨩
야짤
miso5
05/16 15178 124
동인
[Sakai] 성행위 실스읍 3
1uF
05/16
29105
141
[Sakai] 성행위 실스읍 3
동인
1uF
05/16 29105 141
영상
[한글자막] 소녀 라무네 1화~6화
imakotou
05/16
22013
171
[한글자막] 소녀 라무네 1화~6화
영상
imakotou
05/16 22013 171
동인
[Danimaru] 한 번 더, 해보고 싶어. + 좀 더, 해보고 싶어.
1uF
05/16
14002
60
[Danimaru] 한 번 더, 해보고 싶어. + 좀 더, 해보고 싶어.
동인
1uF
05/16 14002 60
동인
[Namboku] 최종 결전에서 처음으로 서로의 맨얼굴을 보고 반해버린 용사와 마왕
1uF
05/16
22991
95
[Namboku] 최종 결전에서 처음으로 서로의 맨얼굴을 보고 반해버린 용사와 마왕
동인
1uF
05/16 22991 95
유틸
(코이카츠) 버튜버 프리셋 공유 ver.2
pst0025
05/16
13305
51
(코이카츠) 버튜버 프리셋 공유 ver.2
유틸
pst0025
05/16 13305 51
유틸
(코이카츠) 버튜버 프리셋 공유 (복구)
pst0025
05/16
14663
64
(코이카츠) 버튜버 프리셋 공유 (복구)
유틸
pst0025
05/16 14663 64
영상
린네 Part.1 (명조)
브레머튼
05/16
16726
119
린네 Part.1 (명조)
영상
브레머튼
05/16 16726 119
동인
nt레보 사키코 불륜사정 if 주임선생이 헌팅을 막지 못했다면
1Q2W3E4R
05/16
28693
59
nt레보 사키코 불륜사정 if 주임선생이 헌팅을 막지 못했다면
동인
1Q2W3E4R
05/16 28693 59
정보
비월선행록 DLC제작관련 소식
보바도사
05/16
7876
20
비월선행록 DLC제작관련 소식
정보
보바도사
05/16 7876 20
영상
프로미아(ZZZ) & 앨리스 (원신)
브레머튼
05/16
21745
108
프로미아(ZZZ) & 앨리스 (원신)
영상
브레머튼
05/16 21745 108
영상
[5/16] 아를레키노 & 푸리나 파트 1 & 파트 2
브레머튼
05/16
26076
153
[5/16] 아를레키노 & 푸리나 파트 1 & 파트 2
영상
브레머튼
05/16 26076 153
미번
[구매보급] RJ01438753 少年領主の勉強の日々 SLG
SML
05/16
12405
34
[구매보급] RJ01438753 少年領主の勉強の日々 SLG
미번
SML
05/16 12405 34
동인
AI 채색 [Rama] Yuuki-san wa Boku no Mono ｜ 유우키는 나의 것
fhfhfghdr453
05/16
18329
103
AI 채색 [Rama] Yuuki-san wa Boku no Mono ｜ 유우키는 나의 것
동인
fhfhfghdr453
05/16 18329 103
번역
[AI번역]모브얼굴에 개변태바디인 누나
솔라셀
05/16
32447
150
[AI번역]모브얼굴에 개변태바디인 누나
번역
솔라셀
05/16 32447 150
번역
자체번역,업뎃)Sinisistar2 1.3ver
쩝냡
05/16
54892
366
자체번역,업뎃)Sinisistar2 1.3ver
번역
쩝냡
05/16 54892 366
복구
[요청복구] 1개
ashi
05/16
23220
41
[요청복구] 1개
복구
ashi
05/16 23220 41
영상
헬렌 (소녀전선2)
브레머튼
05/16
22074
128
헬렌 (소녀전선2)
영상
브레머튼
05/16 22074 128
영상
비비안 (ZZZ)
브레머튼
05/16
20889
109
비비안 (ZZZ)
영상
브레머튼
05/16 20889 109
영상
[청아] RJ01601050 令嬢遊戯-連れ去られチ◯ポ穴にされる少女-
r4gsdrg
05/16
23886
77
[청아] RJ01601050 令嬢遊戯-連れ去られチ◯ポ穴にされる少女-
영상
r4gsdrg
05/16 23886 77
영상
[5/15] 비즈니스 커뮤니케이션 강좌에서 사정하는 이야기
브레머튼
05/16
19793
153
[5/15] 비즈니스 커뮤니케이션 강좌에서 사정하는 이야기
영상
브레머튼
05/16 19793 153
소리
[구매보급]저출산 대책 지도원이 오호 목소리 도스케베 아이 만들기 교미하는 이야기
이름뭐하지
05/16
12503
72
[구매보급]저출산 대책 지도원이 오호 목소리 도스케베 아이 만들기 교미하는 이야기
소리
이름뭐하지
05/16 12503 72
복구
[요청복구] 아일랜드 사가 1.0.6_수정1_수정v1.7
meruna00
05/16
20048
68
[요청복구] 아일랜드 사가 1.0.6_수정1_수정v1.7
복구
meruna00
05/16 20048 68
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43