로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4635 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90644
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90644 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205039
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205039 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252844
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252844 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243467
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243467 -14
동인
[ai번역]アナタのミスは上司であるワタシがなんとかします。
doumaro
04/30
10442
32
[ai번역]アナタのミスは上司であるワタシがなんとかします。
동인
doumaro
04/30 10442 32
동인
[ai번역]聖華女学院公認竿おじさん
doumaro
04/30
17271
77
[ai번역]聖華女学院公認竿おじさん
동인
doumaro
04/30 17271 77
번역
[Renpy/Zenpy 기번] Friendship with Benefits 2 [v1.2.0/완결]
leavel13245
04/30
30658
69
[Renpy/Zenpy 기번] Friendship with Benefits 2 [v1.2.0/완결]
번역
leavel13245
04/30 30658 69
동인
[ai번역]継母は教え子
doumaro
04/30
9202
27
[ai번역]継母は教え子
동인
doumaro
04/30 9202 27
동인
[ai번역]Muchimuchi Oku-sama, Dokidoki _Nama_ Haishin ~Haishin-sha ga Tomo Haha datta Baai~
doumaro
04/30
14645
39
[ai번역]Muchimuchi Oku-sama, Dokidoki _Nama_ Haishin ~Haishin-sha ga Tomo Haha datta Baai~
동인
doumaro
04/30 14645 39
동인
[ai번역]Zetsurin Oji-san to Osananajimi no Musume no, Sukebe na Suujitsukan. Day 2
doumaro
04/30
13067
49
[ai번역]Zetsurin Oji-san to Osananajimi no Musume no, Sukebe na Suujitsukan. Day 2
동인
doumaro
04/30 13067 49
동인
[ai번역] Zetsurin Oji-san to Osananajimi no Musume no, Sukebe na Suujitsukan
doumaro
04/30
11586
59
[ai번역] Zetsurin Oji-san to Osananajimi no Musume no, Sukebe na Suujitsukan
동인
doumaro
04/30 11586 59
정보
주관적인 2026년 4분기 최고 기대작
dfgdsfg
04/30
16463
76
주관적인 2026년 4분기 최고 기대작
정보
dfgdsfg
04/30 16463 76
영상
[영상/미번] 유인·구속, 가슴을 만져지는 실력파 스파이의 존엄을 무너뜨리는 조교- 모션코믹
우유
04/30
24891
128
[영상/미번] 유인·구속, 가슴을 만져지는 실력파 스파이의 존엄을 무너뜨리는 조교- 모션코믹
영상
우유
04/30 24891 128
영상
[영상/미번] 아기 슬라임과 마법학교 학생의 훈훈한 일상♪ 모션코믹
우유
04/30
18431
128
[영상/미번] 아기 슬라임과 마법학교 학생의 훈훈한 일상♪ 모션코믹
영상
우유
04/30 18431 128
야짤
ai, 이터널 리턴) 수영복 아비게일과 순애 임신 섹스
kjh9304
04/30
12055
73
ai, 이터널 리턴) 수영복 아비게일과 순애 임신 섹스
야짤
kjh9304
04/30 12055 73
영상
NAKK 팬박스 모음 + 4월 보이스 추가 업뎃
noongkk
04/30
24918
153
NAKK 팬박스 모음 + 4월 보이스 추가 업뎃
영상
noongkk
04/30 24918 153
동인
[らすく] 절정 느릿느릿 빔
qew123
04/30
27148
60
[らすく] 절정 느릿느릿 빔
동인
qew123
04/30 27148 60
영상
청아)수간)성처리 당번 이리야 미유
이상한 사람
04/30
32077
81
청아)수간)성처리 당번 이리야 미유
영상
이상한 사람
04/30 32077 81
동인
[Matanonki] 밤시중(미요토기) (블루 아카이브)
ㅇㅇ
04/30
20112
81
[Matanonki] 밤시중(미요토기) (블루 아카이브)
동인
ㅇㅇ
04/30 20112 81
영상
성진우 & 차해인 (나 혼자만 레벨업)
브레머튼
04/30
38156
208
성진우 & 차해인 (나 혼자만 레벨업)
영상
브레머튼
04/30 38156 208
미번
[구매보급/번역요청]RJ059871, RJ081915
ziririri123
04/30
14672
35
[구매보급/번역요청]RJ059871, RJ081915
미번
ziririri123
04/30 14672 35
미번
[구매보급/번역요청/버전업] NTR 던전 1.2.0 RJ01499588
babagumba
04/30
10963
35
[구매보급/번역요청/버전업] NTR 던전 1.2.0 RJ01499588
미번
babagumba
04/30 10963 35
유틸
RPG Maker MV/MZ 실시간 번역기 3.1 (구동휘정3 대응 -3)
mrpls
04/30
17200
36
RPG Maker MV/MZ 실시간 번역기 3.1 (구동휘정3 대응 -3)
유틸
mrpls
04/30 17200 36
야짤
ai)투명 오나홀
gpsel157
04/30
13325
30
ai)투명 오나홀
야짤
gpsel157
04/30 13325 30
영상
[영상] [청아/가학물][번역요청] 수란아 시리즈 총집편 2
우라
04/30
25553
130
[영상] [청아/가학물][번역요청] 수란아 시리즈 총집편 2
영상
우라
04/30 25553 130
소리
[구매보급] [자막] RJ422081
puella
04/30
11963
69
[구매보급] [자막] RJ422081
소리
puella
04/30 11963 69
소리
[한글자막]다키마쿠라 여친 -Pretty Holic- ～꼬~옥 밀착하며 곁잠 섹스해 주는 느슨하고 귀여운 후배～
키리안
04/30
19383
105
[한글자막]다키마쿠라 여친 -Pretty Holic- ～꼬~옥 밀착하며 곁잠 섹스해 주는 느슨하고 귀여운 후배～
소리
키리안
04/30 19383 105
소리
[한국어판] 모든 캐릭터 푹 빠짐 불가피!! ○○ 특화 미경험 소녀들과 P활보다 LOVE하자?♪ 올해 겨울은 이거 하나로 몸도 마음도 따끈따끈♪
dasdaa
04/30
25401
179
[한국어판] 모든 캐릭터 푹 빠짐 불가피!! ○○ 특화 미경험 소녀들과 P활보다 LOVE하자?♪ 올해 겨울은 이거 하나로 몸도 마음도 따끈따끈♪
소리
dasdaa
04/30 25401 179
영상
(eGlhb2NodW4=) 유부녀 쨔스 파티 모음집 1~18 +EX 1,2
칸라드
04/30
36552
215
(eGlhb2NodW4=) 유부녀 쨔스 파티 모음집 1~18 +EX 1,2
영상
칸라드
04/30 36552 215
동인
[구매보급,번역요청] 搾精義母に生種付け
yaoino
04/30
7566
20
[구매보급,번역요청] 搾精義母に生種付け
동인
yaoino
04/30 7566 20
미번
[구매보급/번역요청]RJ01591409 구련휘정 퀄터 알루미네스 & 탄젤 EG
gre0204
04/30
24726
147
[구매보급/번역요청]RJ01591409 구련휘정 퀄터 알루미네스 & 탄젤 EG
미번
gre0204
04/30 24726 147
동인
[구매보급,번역요청] 엄마 나이대의 마마와 노콘 섹스해서 임신시켜버리는 책 3
yaoino
04/30
18925
32
[구매보급,번역요청] 엄마 나이대의 마마와 노콘 섹스해서 임신시켜버리는 책 3
동인
yaoino
04/30 18925 32
정보
밀팩 신작
왈랄ㄹ랄루
04/30
13157
44
밀팩 신작
정보
왈랄ㄹ랄루
04/30 13157 44
소리
[구매보급]거유수문장에의한 도스케베 배틀 ♪ 역으로 반격하고 임신시켰다♪
이름뭐하지
04/30
17175
53
[구매보급]거유수문장에의한 도스케베 배틀 ♪ 역으로 반격하고 임신시켰다♪
소리
이름뭐하지
04/30 17175 53
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43