로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4735 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60616
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60616 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90747
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90747 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205233
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205233 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253251
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253251 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243619
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243619 -14
소리
【극음】 비경의 숙면 에스테틱 살롱에 오신 것을 환영합니다~청초 테라피스트들과의 비밀 밀착 극상 코스~
키리안
05/05
11351
64
【극음】 비경의 숙면 에스테틱 살롱에 오신 것을 환영합니다~청초 테라피스트들과의 비밀 밀착 극상 코스~
소리
키리안
05/05 11351 64
영상
[후타] 이본 & 관리자 파트 1 (엔드필드)
브레머튼
05/05
16657
97
[후타] 이본 & 관리자 파트 1 (엔드필드)
영상
브레머튼
05/05 16657 97
영상
자궁문신 데니아 (명조)
브레머튼
05/05
17415
120
자궁문신 데니아 (명조)
영상
브레머튼
05/05 17415 120
영상
아를레키노 & 츄츄족 (원신)
브레머튼
05/05
22755
179
아를레키노 & 츄츄족 (원신)
영상
브레머튼
05/05 22755 179
소리
요청복구 - 【패배 무참 타락】쾌락 절정 여자닌자 유키메 ~내 임신술이 네놈의 잡졸에게 질 리가 없어~
테탑시
05/05
10436
62
요청복구 - 【패배 무참 타락】쾌락 절정 여자닌자 유키메 ~내 임신술이 네놈의 잡졸에게 질 리가 없어~
소리
테탑시
05/05 10436 62
복구
90일, 대리) RJ269944 FlashCyclingRide 2～자전거 노출주의보 v1.40.zip
ㅇㅇ
05/05
15626
53
90일, 대리) RJ269944 FlashCyclingRide 2～자전거 노출주의보 v1.40.zip
복구
ㅇㅇ
05/05 15626 53
동인
청아, AI번역) [직번] 전뇌에 잠든 사랑의 열쇠 3부 (Umiyamasoze)
rapbit
05/05
12594
46
청아, AI번역) [직번] 전뇌에 잠든 사랑의 열쇠 3부 (Umiyamasoze)
동인
rapbit
05/05 12594 46
동인
청아, AI번역) [직번] 전뇌에 잠든 사랑의 열쇠 2부 (Umiyamasoze)
rapbit
05/05
10679
38
청아, AI번역) [직번] 전뇌에 잠든 사랑의 열쇠 2부 (Umiyamasoze)
동인
rapbit
05/05 10679 38
동인
청아, AI번역) [직번] 전뇌에 잠든 사랑의 열쇠 1부 (Umiyamasoze)
rapbit
05/05
23276
50
청아, AI번역) [직번] 전뇌에 잠든 사랑의 열쇠 1부 (Umiyamasoze)
동인
rapbit
05/05 23276 50
미번
[구매보급]RJ01200916 Succubus&magic
gnrjrdtjcft
05/05
17481
41
[구매보급]RJ01200916 Succubus&magic
미번
gnrjrdtjcft
05/05 17481 41
번역
[미검수][AI][패치만] RJ01549336 알미오시온의 의술사
lovesccubus
05/05
64371
218
[미검수][AI][패치만] RJ01549336 알미오시온의 의술사
번역
lovesccubus
05/05 64371 218
소리
란도셀 여친 ~아이가키 카논~ 〇학교 ⑤학년 ①⓪살 '오빠♪ 어른이 하는 야한 일♪ 〇학생인 나에게 알려줘'
9ya
05/05
13799
47
란도셀 여친 ~아이가키 카논~ 〇학교 ⑤학년 ①⓪살 '오빠♪ 어른이 하는 야한 일♪ 〇학생인 나에게 알려줘'
소리
9ya
05/05 13799 47
야짤
[ai 자동채색 작업] Rama 나, 여자가 되어버렸어… 작업 현황
fhfhfghdr453
05/05
9296
25
[ai 자동채색 작업] Rama 나, 여자가 되어버렸어… 작업 현황
야짤
fhfhfghdr453
05/05 9296 25
소리
로리 마법소녀의 1주일 조교일기 2 , 3
9ya
05/05
8830
50
로리 마법소녀의 1주일 조교일기 2 , 3
소리
9ya
05/05 8830 50
번역
[인간 번역] (RJ01610735) 一人暮ぐらしの夏休み
Jack
05/05
77294
310
[인간 번역] (RJ01610735) 一人暮ぐらしの夏休み
번역
Jack
05/05 77294 310
소리
[구매보급]무지천사를 애완동물화~피네는인간의 정액변소가 되었습니다♡~
이름뭐하지
05/05
9010
67
[구매보급]무지천사를 애완동물화~피네는인간의 정액변소가 되었습니다♡~
소리
이름뭐하지
05/05 9010 67
미번
Evening Survivor 1.1.35
ㅇㅇ
05/05
8237
36
Evening Survivor 1.1.35
미번
ㅇㅇ
05/05 8237 36
미번
[구매보급/미번/촉수?/이종간/수간/충간]Crynaria: Tears In The Abyss
루파조아
05/05
16311
72
[구매보급/미번/촉수?/이종간/수간/충간]Crynaria: Tears In The Abyss
미번
루파조아
05/05 16311 72
미번
[미번][번역요청]size me up
819455
05/05
8117
28
[미번][번역요청]size me up
미번
819455
05/05 8117 28
야짤
디바 임무 실패
177523
05/05
12482
34
디바 임무 실패
야짤
177523
05/05 12482 34
복구
[요청복구] RJ01356929 청빈성녀 에로컬트에 빠지다
20001
05/05
18096
46
[요청복구] RJ01356929 청빈성녀 에로컬트에 빠지다
복구
20001
05/05 18096 46
영상
[후원보급] (후타, 보추, 수?간 포함) QW1wbGVjdGVk 모음집
hannanas
05/05
27442
102
[후원보급] (후타, 보추, 수?간 포함) QW1wbGVjdGVk 모음집
영상
hannanas
05/05 27442 102
야짤
오늘은 어린이날
ㅇㅇ
05/05
13115
44
오늘은 어린이날
야짤
ㅇㅇ
05/05 13115 44
미번
[구매보급] RJ01602261 ReisenHDream
souldeth
05/05
6741
20
[구매보급] RJ01602261 ReisenHDream
미번
souldeth
05/05 6741 20
영상
빨간날 기념 재밌는거 만들어옴
ㅇㅇ
05/05
24619
126
빨간날 기념 재밌는거 만들어옴
영상
ㅇㅇ
05/05 24619 126
후기 및 공략
스포, 복구요청)"변태적인 시스템" 여고생 스파이 잠입 수사 성 음술학원 RJ01148691 후기
eooeooeoo
05/05
7838
18
스포, 복구요청)"변태적인 시스템" 여고생 스파이 잠입 수사 성 음술학원 RJ01148691 후기
후기 및 공략
eooeooeoo
05/05 7838 18
복구
[요청복구] NTR 모험가 리에나 -노려진 그녀와 작은 그 사람
dk041633
05/05
33217
102
[요청복구] NTR 모험가 리에나 -노려진 그녀와 작은 그 사람
복구
dk041633
05/05 33217 102
앱
미번/구매보급 마도사카네데 후타나리던전 안드로이드 버전
llmulge25
05/05
26501
34
미번/구매보급 마도사카네데 후타나리던전 안드로이드 버전
앱
llmulge25
05/05 26501 34
번역
고어,료나)pain:rein 0.096v
sngjw1kq
05/05
31944
71
고어,료나)pain:rein 0.096v
번역
sngjw1kq
05/05 31944 71
복구
26.05.06, 90일) 2. RJ223237 SEQUEL awake v1.10. 개선 26.05.06.7z
ㅇㅇ
05/05
28015
79
26.05.06, 90일) 2. RJ223237 SEQUEL awake v1.10. 개선 26.05.06.7z
복구
ㅇㅇ
05/05 28015 79
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43