로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4575 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60597
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60597 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90594
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90594 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204966
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204966 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252761
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252761 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243362
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243362 -14
동인
청아, AI번역) [r-one] 「엄마 몸을 탈취한 알콩달콩♥ 육아일기」
GGmen
05/23
18669
69
청아, AI번역) [r-one] 「엄마 몸을 탈취한 알콩달콩♥ 육아일기」
동인
GGmen
05/23 18669 69
영상
a290YXJvdTM5OTA= 작가 공유 74.5GB
cmodmd
05/23
21125
118
a290YXJvdTM5OTA= 작가 공유 74.5GB
영상
cmodmd
05/23 21125 118
번역
(청아)[번역][모자이크감소] RJ127023 음란한 짐승의 우리 - 여고생 폐공장 감금 강간 (1.1A)
ilillilllilil
05/23
43596
274
(청아)[번역][모자이크감소] RJ127023 음란한 짐승의 우리 - 여고생 폐공장 감금 강간 (1.1A)
번역
ilillilllilil
05/23 43596 274
미번
미번) [RJ01518150] M男いじめスクールライフ (번역링크)
wave7535
05/23
7485
30
미번) [RJ01518150] M男いじめスクールライフ (번역링크)
미번
wave7535
05/23 7485 30
동인
[구매보급/번역요청] 카네다는 나쁘지 않아 vol.4 金田は何も悪くない Vol.04
eggslut
05/23
18165
58
[구매보급/번역요청] 카네다는 나쁘지 않아 vol.4 金田は何も悪くない Vol.04
동인
eggslut
05/23 18165 58
영상
VmVjdG9yQ2VsbA== 작가 공유 43GB
cmodmd
05/23
22286
123
VmVjdG9yQ2VsbA== 작가 공유 43GB
영상
cmodmd
05/23 22286 123
유틸
(코이카츠) 엔드필드 프리셋 공유
pst0025
05/23
8777
65
(코이카츠) 엔드필드 프리셋 공유
유틸
pst0025
05/23 8777 65
창작
(청아) 꾸준실패 연필 32주차
지나가던사람
05/23
4777
21
(청아) 꾸준실패 연필 32주차
창작
지나가던사람
05/23 4777 21
영상
[AI,빵] ぬるぬるアニメ,なめらか動画部 시리즈 모음
도가다
05/23
16668
95
[AI,빵] ぬるぬるアニメ,なめらか動画部 시리즈 모음
영상
도가다
05/23 16668 95
유틸
EnigmaVBUnpacker (MV MZ 언팩) 웹버전 오픈
mrpls
05/23
4207
15
EnigmaVBUnpacker (MV MZ 언팩) 웹버전 오픈
유틸
mrpls
05/23 4207 15
동인
Kakuchou No Okina-Gaping JK
k8625
05/23
21169
56
Kakuchou No Okina-Gaping JK
동인
k8625
05/23 21169 56
정보
키타키타
F1_code
05/23
7870
22
키타키타
정보
F1_code
05/23 7870 22
동인
Kakuchou No Okina-익스트림 애널 헌터
k8625
05/23
17931
63
Kakuchou No Okina-익스트림 애널 헌터
동인
k8625
05/23 17931 63
동인
Yutsuki Tsuzuri-화장실 괴담 하나코 따먹는 만화
k8625
05/23
16859
64
Yutsuki Tsuzuri-화장실 괴담 하나코 따먹는 만화
동인
k8625
05/23 16859 64
작업현황
마마야 유부녀 알바 2.5편 썸네일 식질
1Q2W3E4R
05/23
4909
18
마마야 유부녀 알바 2.5편 썸네일 식질
작업현황
1Q2W3E4R
05/23 4909 18
작업현황
컴도 못끄고 VPN도 못켜고...
ㅇㅇ
05/23
5381
30
컴도 못끄고 VPN도 못켜고...
작업현황
ㅇㅇ
05/23 5381 30
영상
엽빛나 & 와이즈 (ZZZ)
브레머튼
05/23
14800
101
엽빛나 & 와이즈 (ZZZ)
영상
브레머튼
05/23 14800 101
동인
[Ginger Lily] 마사지숍에서 후타나리 미녀에게 포르치오 절정으로 길들여지는 여자아이
1uF
05/23
21454
176
[Ginger Lily] 마사지숍에서 후타나리 미녀에게 포르치오 절정으로 길들여지는 여자아이
동인
1uF
05/23 21454 176
동인
[Hirari] 남장 플레이어 코스 ROM 촬영
1uF
05/23
11917
34
[Hirari] 남장 플레이어 코스 ROM 촬영
동인
1uF
05/23 11917 34
동인
[Hirari] 내가 모르는 너의
1uF
05/23
15807
62
[Hirari] 내가 모르는 너의
동인
1uF
05/23 15807 62
세이브
[전개방세이브] 히로인을 붙잡아 놓고 아무것도 하지 않을 리가 없다
미스터장
05/23
5841
22
[전개방세이브] 히로인을 붙잡아 놓고 아무것도 하지 않을 리가 없다
세이브
미스터장
05/23 5841 22
동인
[직번] [Carrot Caramel Batake] 회장과 교실
maha1004
05/23
15984
27
[직번] [Carrot Caramel Batake] 회장과 교실
동인
maha1004
05/23 15984 27
소리
[구매보급]【저음 오호 목소리·밀착 귀 핥기】왕자님 카페~소녀 같은 루이와 러브러브 밀회
이름뭐하지
05/23
8765
68
[구매보급]【저음 오호 목소리·밀착 귀 핥기】왕자님 카페~소녀 같은 루이와 러브러브 밀회
소리
이름뭐하지
05/23 8765 68
동인
직번) [Yamamoto Zenzen] 학원원교일기 Comix 3화
qlalfsla
05/23
16860
86
직번) [Yamamoto Zenzen] 학원원교일기 Comix 3화
동인
qlalfsla
05/23 16860 86
복구
[요청복구][3D/여주/노출][버전업/한글지원/노모] 비밀 노출 -배덕의 달콤함에 물든 마나카- v1.13
zeri1590
05/23
25306
66
[요청복구][3D/여주/노출][버전업/한글지원/노모] 비밀 노출 -배덕의 달콤함에 물든 마나카- v1.13
복구
zeri1590
05/23 25306 66
야짤
ai) chui 요르 움짤
Ghost
05/23
8170
42
ai) chui 요르 움짤
야짤
Ghost
05/23 8170 42
복구
[요청복구] [RJ01604961] PACHIMON 8bit 노모,일반버전
tenXX
05/23
25999
87
[요청복구] [RJ01604961] PACHIMON 8bit 노모,일반버전
복구
tenXX
05/23 25999 87
소리
[보이스코믹][구매보급][한] 거대한 가슴에 통통한 무녀에게 아헤 얼굴과 오호 소리로 착취당하다
책먹는망아지
05/23
14909
115
[보이스코믹][구매보급][한] 거대한 가슴에 통통한 무녀에게 아헤 얼굴과 오호 소리로 착취당하다
소리
책먹는망아지
05/23 14909 115
복구
RJ01394659 가짜 세계수의 무녀 ~거리 한복판에서 마음껏 더듬기 & 에로 트랩으로 갸루 겟츄~(세이브파일 빼먹어서 링크 하나 더 추가)
ruel-x
05/23
19161
36
RJ01394659 가짜 세계수의 무녀 ~거리 한복판에서 마음껏 더듬기 & 에로 트랩으로 갸루 겟츄~(세이브파일 빼먹어서 링크 하나 더 추가)
복구
ruel-x
05/23 19161 36
미번
[구매보급,복구요청 2개 + 요청X 1개]RJ01303046, RJ127023, RJ112298
ruel-x
05/23
10168
105
[구매보급,복구요청 2개 + 요청X 1개]RJ01303046, RJ127023, RJ112298
미번
ruel-x
05/23 10168 105
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43