로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4653 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90651
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90651 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205051
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205051 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252856
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252856 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243490
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243490 -14
동인
[구매보급/미번/shuten douji] 人妻ゴロしの魔眼2
silver157
05/01
11822
54
[구매보급/미번/shuten douji] 人妻ゴロしの魔眼2
동인
silver157
05/01 11822 54
동인
JK신부 사쿠라 1~3편
나나세마루
05/01
18052
36
JK신부 사쿠라 1~3편
동인
나나세마루
05/01 18052 36
소리
【야한 보지 밀착 애교 신음】유부녀 바니걸이 해주는 달콤한 자지 마사지, 말랑한 아라사 보지 안에 잔뜩 싸줘♪【KU100 고해상도 음질】
키도
05/01
10115
50
【야한 보지 밀착 애교 신음】유부녀 바니걸이 해주는 달콤한 자지 마사지, 말랑한 아라사 보지 안에 잔뜩 싸줘♪【KU100 고해상도 음질】
소리
키도
05/01 10115 50
동인
가지고 놀아지고 있어!?
hatlatal
05/01
17334
82
가지고 놀아지고 있어!?
동인
hatlatal
05/01 17334 82
소리
【간사이벤】야쿠자 아내가 거근에 네토라레 완전 패배할 때까지【도S용/KU100】
키도
05/01
12164
38
【간사이벤】야쿠자 아내가 거근에 네토라레 완전 패배할 때까지【도S용/KU100】
소리
키도
05/01 12164 38
소리
유부녀NTR - 오랜만에 만난 전 여친에게 배달지에서 억지로 키스하여 옛날의 쾌감을 떠올리게 하다 -
키도
05/01
9302
39
유부녀NTR - 오랜만에 만난 전 여친에게 배달지에서 억지로 키스하여 옛날의 쾌감을 떠올리게 하다 -
소리
키도
05/01 9302 39
동인
이노센트 아이돌 생섹스 합숙에 가다
hatlatal
05/01
19237
47
이노센트 아이돌 생섹스 합숙에 가다
동인
hatlatal
05/01 19237 47
복구
3.41 GB) RJ257653 계승되는 자의 고독
ㅇㅇ
05/01
19982
53
3.41 GB) RJ257653 계승되는 자의 고독
복구
ㅇㅇ
05/01 19982 53
소리
【오호 목소리×자지 아부】건방진 JK(처녀)을 좆밥중독의 고기 오나홀로 타락시킨 이야기【KU100】
키도
05/01
5084
39
【오호 목소리×자지 아부】건방진 JK(처녀)을 좆밥중독의 고기 오나홀로 타락시킨 이야기【KU100】
소리
키도
05/01 5084 39
동인
일필유(乳)혼 렌카 편
hatlatal
05/01
13291
56
일필유(乳)혼 렌카 편
동인
hatlatal
05/01 13291 56
소리
욕구 불만에 자위광인 음란한 유부녀과 남편 몰래 아이 만들기 교미
키도
05/01
11659
52
욕구 불만에 자위광인 음란한 유부녀과 남편 몰래 아이 만들기 교미
소리
키도
05/01 11659 52
소리
전 여친 탁란 계획
키도
05/01
5308
43
전 여친 탁란 계획
소리
키도
05/01 5308 43
영상
[5/1] 슈나 & 시온 & 고부타 (전생슬)
브레머튼
05/01
19474
138
[5/1] 슈나 & 시온 & 고부타 (전생슬)
영상
브레머튼
05/01 19474 138
소리
존나 섹시한 남친 있는 갸루 JK을 속여 합법적으로 NTR 임신 섹스했다 ㅋㅋㅋ【KU100 바이노럴】
키도
05/01
9334
42
존나 섹시한 남친 있는 갸루 JK을 속여 합법적으로 NTR 임신 섹스했다 ㅋㅋㅋ【KU100 바이노럴】
소리
키도
05/01 9334 42
동인
패러렐 체인저 어플
hatlatal
05/01
14435
42
패러렐 체인저 어플
동인
hatlatal
05/01 14435 42
영상
(한글자막) 시건방진 소악마들에게 어리광 받아서 패배하는 나
꽃사슴
05/01
28078
211
(한글자막) 시건방진 소악마들에게 어리광 받아서 패배하는 나
영상
꽃사슴
05/01 28078 211
정보
응석받이와 유사 그림체인 게임예고페이지가 있네
kkkkkk0909
05/01
8703
46
응석받이와 유사 그림체인 게임예고페이지가 있네
정보
kkkkkk0909
05/01 8703 46
소리
나를 괴롭히던 애의 엄마에 의한 사죄 엣치
키도
05/01
6041
38
나를 괴롭히던 애의 엄마에 의한 사죄 엣치
소리
키도
05/01 6041 38
소리
대출 아내의 NTR 보고 ~청초한 아내의 네토라레 조교~
키도
05/01
5803
30
대출 아내의 NTR 보고 ~청초한 아내의 네토라레 조교~
소리
키도
05/01 5803 30
소리
네토리/네토라레~청초한 젊은 아내 편~【네토리 조교/네토라레 보고】
키도
05/01
7074
38
네토리/네토라레~청초한 젊은 아내 편~【네토리 조교/네토라레 보고】
소리
키도
05/01 7074 38
소리
갸루 임신!~아다인 제가 갸루를 임신시켜 보았습니다~
키도
05/01
3612
35
갸루 임신!~아다인 제가 갸루를 임신시켜 보았습니다~
소리
키도
05/01 3612 35
소리
욕심 많은 모녀 이색 식사
키도
05/01
7111
31
욕심 많은 모녀 이색 식사
소리
키도
05/01 7111 31
소리
임신시키기 게임 제가 임신하면……살 수 있어요……
키도
05/01
5874
43
임신시키기 게임 제가 임신하면……살 수 있어요……
소리
키도
05/01 5874 43
영상
(한글자막) 최악으로 징그러운 아저씨에게 임신당해버리는 누나
꽃사슴
05/01
25748
166
(한글자막) 최악으로 징그러운 아저씨에게 임신당해버리는 누나
영상
꽃사슴
05/01 25748 166
소리
어디에나 있을 법한 얼굴의 그녀가 빼앗기다~ 네토라레의 쾌락 타락~
키도
05/01
12077
37
어디에나 있을 법한 얼굴의 그녀가 빼앗기다~ 네토라레의 쾌락 타락~
소리
키도
05/01 12077 37
소리
W 마법소녀가 더러운 좆밥자지에 아양떨며 억지로 봉사하게 되어버리는 세뇌 어플 3rd!!!
dasdaa
05/01
10710
63
W 마법소녀가 더러운 좆밥자지에 아양떨며 억지로 봉사하게 되어버리는 세뇌 어플 3rd!!!
소리
dasdaa
05/01 10710 63
번역
[업데이트 안내] 존재감 없는 여동생과의 소박한 일상 1.09rev.5
kkkkkk0909
05/01
42553
129
[업데이트 안내] 존재감 없는 여동생과의 소박한 일상 1.09rev.5
번역
kkkkkk0909
05/01 42553 129
동인
달아오른 변태 넬슨씨
hatlatal
05/01
11515
24
달아오른 변태 넬슨씨
동인
hatlatal
05/01 11515 24
동인
사랑의 묘약으로 역습!
hatlatal
05/01
16139
46
사랑의 묘약으로 역습!
동인
hatlatal
05/01 16139 46
야짤
AI, 셀레스포니아) 타락한 셀레스포니아와 하즈키
miso5
05/01
8036
72
AI, 셀레스포니아) 타락한 셀레스포니아와 하즈키
야짤
miso5
05/01 8036 72
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43