로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4561 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60594
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60594 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90583
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90583 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204786
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204786 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252741
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252741 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243335
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243335 -14
미번
(구매보급/번역요청)RJ01585268,RJ01537879
챔피얀
04/26
14079
35
(구매보급/번역요청)RJ01585268,RJ01537879
미번
챔피얀
04/26 14079 35
영상
Chloe & Iroha
브레머튼
04/26
26936
138
Chloe & Iroha
영상
브레머튼
04/26 26936 138
영상
[47.06GB] 또 야애니다수
아소필
04/26
27341
161
[47.06GB] 또 야애니다수
영상
아소필
04/26 27341 161
영상
린네아 (원신)
브레머튼
04/26
22703
94
린네아 (원신)
영상
브레머튼
04/26 22703 94
영상
브로냐 S+
브레머튼
04/26
23176
86
브로냐 S+
영상
브레머튼
04/26 23176 86
소리
[구매보급]【전편 느릿 오호】 게이머 그라돌 자매와 집콕하며 야한 생활
이름뭐하지
04/26
12064
68
[구매보급]【전편 느릿 오호】 게이머 그라돌 자매와 집콕하며 야한 생활
소리
이름뭐하지
04/26 12064 68
동인
[번역, 히토미펌] 아첼레란도 (seto yuuki)
drogba
04/26
22860
46
[번역, 히토미펌] 아첼레란도 (seto yuuki)
동인
drogba
04/26 22860 46
동인
[takku] [청아] U149 이치하라 니나 만화
edo
04/26
29485
98
[takku] [청아] U149 이치하라 니나 만화
동인
edo
04/26 29485 98
야짤
생각보다 쎈데?
highblue
04/26
10842
28
생각보다 쎈데?
야짤
highblue
04/26 10842 28
후기 및 공략
렌파이 게임을 추천해보도록 하겠습니다
shsh112211
04/26
10059
19
렌파이 게임을 추천해보도록 하겠습니다
후기 및 공략
shsh112211
04/26 10059 19
동인
[미번/번역요청][Katsura airi]들끓던 무렵에 동창회편
cuphead-7
04/26
25113
45
[미번/번역요청][Katsura airi]들끓던 무렵에 동창회편
동인
cuphead-7
04/26 25113 45
번역
유니티/기번) Taffy Tales Season 1 - v1.1.55 Redux
마기사
04/26
47220
187
유니티/기번) Taffy Tales Season 1 - v1.1.55 Redux
번역
마기사
04/26 47220 187
번역
[체험판][gemma4][미검수]서큐버스의 밤 체험판 28일 발매예정
lovesccubus
04/26
33383
83
[체험판][gemma4][미검수]서큐버스의 밤 체험판 28일 발매예정
번역
lovesccubus
04/26 33383 83
미번
[미번/번역요청] My Girlfriend Advanced to the Dancer class and she buffs everybody 1.1r 버전 (수정)
unknown1357
04/26
15438
70
[미번/번역요청] My Girlfriend Advanced to the Dancer class and she buffs everybody 1.1r 버전 (수정)
미번
unknown1357
04/26 15438 70
야짤
(청아,AI,GIF) [xssxsxk] cure arcana shadow
ArIso
04/26
23330
108
(청아,AI,GIF) [xssxsxk] cure arcana shadow
야짤
ArIso
04/26 23330 108
영상
청아,방뇨) セネト 신작 아이마스 아리스 모모코
ㅇㅇ
04/26
21435
113
청아,방뇨) セネト 신작 아이마스 아리스 모모코
영상
ㅇㅇ
04/26 21435 113
야짤
분명 애들 만화라고 들었는데
lovesccubus
04/26
12837
20
분명 애들 만화라고 들었는데
야짤
lovesccubus
04/26 12837 20
번역
[직접구매] 나츠노 사가시모노 RJ370402
jsoon
04/26
60760
296
[직접구매] 나츠노 사가시모노 RJ370402
번역
jsoon
04/26 60760 296
동인
[직번][Hino Yamada] 이사 성교!
qlkjrnd
04/26
18694
88
[직번][Hino Yamada] 이사 성교!
동인
qlkjrnd
04/26 18694 88
영상
니트사장 신작 포켓몬 봄이
ㅇㅇ
04/26
23875
126
니트사장 신작 포켓몬 봄이
영상
ㅇㅇ
04/26 23875 126
영상
청아) はるとし 신작 메구밍
ㅇㅇ
04/26
19937
98
청아) はるとし 신작 메구밍
영상
ㅇㅇ
04/26 19937 98
야짤
[AI] 큐어 스카이 !!
kifbodo245
04/26
12257
38
[AI] 큐어 스카이 !!
야짤
kifbodo245
04/26 12257 38
영상
Lapin Gris 신작
ㅇㅇ
04/26
15556
103
Lapin Gris 신작
영상
ㅇㅇ
04/26 15556 103
미번
오타쿠 여학생의 판타지
흰꼴뚜기
04/26
14922
66
오타쿠 여학생의 판타지
미번
흰꼴뚜기
04/26 14922 66
동인
[Dokuneko Noil] 소라이 사키에게 나쁜 짓을 하는 이야기【전편】
ㅇㅇ
04/26
25259
131
[Dokuneko Noil] 소라이 사키에게 나쁜 짓을 하는 이야기【전편】
동인
ㅇㅇ
04/26 25259 131
번역
[AI번역] RJ01577093 ふたなって鬼ヶ島！
하츠네미쿠
04/26
63945
214
[AI번역] RJ01577093 ふたなって鬼ヶ島！
번역
하츠네미쿠
04/26 63945 214
번역
[이미지번역만] 모두의 유방육성(육유) 아카데미[fanzagames_0158]
buaak
04/26
34885
89
[이미지번역만] 모두의 유방육성(육유) 아카데미[fanzagames_0158]
번역
buaak
04/26 34885 89
영상
[요청복구] 누키타시 THE ANIMATION OVA 1~4편 한글자막o
imakotou
04/26
23287
87
[요청복구] 누키타시 THE ANIMATION OVA 1~4편 한글자막o
영상
imakotou
04/26 23287 87
동인
직번) 암컷펫 시리즈 총집편 3
이게아닌데
04/26
40339
359
직번) 암컷펫 시리즈 총집편 3
동인
이게아닌데
04/26 40339 359
동인
음모없음) [Gujira 4 Gou] 마구 빼달라고 하는 입원성활
카오스
04/26
44206
336
음모없음) [Gujira 4 Gou] 마구 빼달라고 하는 입원성활
동인
카오스
04/26 44206 336
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43