로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4614 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60603
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60603 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90637
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90637 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205029
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205029 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252822
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252822 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243440
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243440 -14
동인
Mmchair-야한 가게에 갔더니, 옛 동급생이 있었던 이야기
k8625
05/19
38531
200
Mmchair-야한 가게에 갔더니, 옛 동급생이 있었던 이야기
동인
k8625
05/19 38531 200
미번
[번역요청] 牛娘 밀피의 음욕 트랩 조교
너무타박하지말아줘
05/19
17406
39
[번역요청] 牛娘 밀피의 음욕 트랩 조교
미번
너무타박하지말아줘
05/19 17406 39
작업현황
좀더! 임신! 불꽃 시리즈(밀크 팩토리) 이식, 번역 작업 계획 정리
joyed47106
05/19
6713
39
좀더! 임신! 불꽃 시리즈(밀크 팩토리) 이식, 번역 작업 계획 정리
작업현황
joyed47106
05/19 6713 39
정보
5월하순부터 6월하순까지 발매리스트
sorbe123
05/19
10902
35
5월하순부터 6월하순까지 발매리스트
정보
sorbe123
05/19 10902 35
복구
[복구] 느슨한 서바이벌 ~알몸섬의 소녀들~ v1.2 [기번] (청아)
doritori
05/19
19726
44
[복구] 느슨한 서바이벌 ~알몸섬의 소녀들~ v1.2 [기번] (청아)
복구
doritori
05/19 19726 44
야짤
이런 애낳을수있는 로봇이면 아내삼을만 한듯
superkiller123
05/19
9942
18
이런 애낳을수있는 로봇이면 아내삼을만 한듯
야짤
superkiller123
05/19 9942 18
미번
[미번/구매보급/번역요청] Star Knightess Aura 스팀판 버전업 v1.3.7
giraffeman
05/19
10492
38
[미번/구매보급/번역요청] Star Knightess Aura 스팀판 버전업 v1.3.7
미번
giraffeman
05/19 10492 38
소리
[구매보급]츠요츠요 풍기위원장의 암컷타락 교미 섹스
이름뭐하지
05/18
9906
63
[구매보급]츠요츠요 풍기위원장의 암컷타락 교미 섹스
소리
이름뭐하지
05/18 9906 63
번역
자작) 유카리 핸드잡 카운트다운
tutu32323
05/18
38329
172
자작) 유카리 핸드잡 카운트다운
번역
tutu32323
05/18 38329 172
번역
90일, csv 기번) RJ01143953 csv 기번 nomo 072project version (26.04.29).7z
ㅇㅇ
05/18
23696
73
90일, csv 기번) RJ01143953 csv 기번 nomo 072project version (26.04.29).7z
번역
ㅇㅇ
05/18 23696 73
복구
[복구] 거만한 유부녀 타락! 교만아내함락! ~좋은 여자이지만 싫은 여자~
qusho
05/18
25352
60
[복구] 거만한 유부녀 타락! 교만아내함락! ~좋은 여자이지만 싫은 여자~
복구
qusho
05/18 25352 60
번역
자체한글,자체번역 야겜 10개
미스터장
05/18
78951
376
자체한글,자체번역 야겜 10개
번역
미스터장
05/18 78951 376
미번
성처리용 용사 1.7.511 (DLC01 별첨)
advanced
05/18
10914
40
성처리용 용사 1.7.511 (DLC01 별첨)
미번
advanced
05/18 10914 40
번역
[AI번역] 고기만두에 파묻혀
미식이네
05/18
33699
141
[AI번역] 고기만두에 파묻혀
번역
미식이네
05/18 33699 141
야짤
AI, 청아) 좋았던 짤들
헐
05/18
12377
67
AI, 청아) 좋았던 짤들
야짤
헐
05/18 12377 67
미번
[Jellyfish] SISTERS ~여름의 마지막 날~ 영문판
argoklarke
05/18
12446
41
[Jellyfish] SISTERS ~여름의 마지막 날~ 영문판
미번
argoklarke
05/18 12446 41
정보
악령기생2
msw7162
05/18
6034
18
악령기생2
정보
msw7162
05/18 6034 18
야짤
AI, 블아) 유즈의 자유이용권
miso5
05/18
11500
63
AI, 블아) 유즈의 자유이용권
야짤
miso5
05/18 11500 63
동인
Unacchi-민트씨는 교미를 하고 싶어
k8625
05/18
37499
226
Unacchi-민트씨는 교미를 하고 싶어
동인
k8625
05/18 37499 226
동인
Unacchi-아가씨 완전패배
k8625
05/18
25596
139
Unacchi-아가씨 완전패배
동인
k8625
05/18 25596 139
야짤
ai) ----스압---- 월요일의 타와와
Ghost
05/18
7717
31
ai) ----스압---- 월요일의 타와와
야짤
Ghost
05/18 7717 31
동인
Unacchi-수녀님 완전패배
k8625
05/18
23179
117
Unacchi-수녀님 완전패배
동인
k8625
05/18 23179 117
동인
nyuu koubou【한국어판】세계 이사 센터에 오신 것을 환영합니다 - 여자가 먼저 역헌팅하는 게 당연한 세계 EX
RMillet
05/18
41625
170
nyuu koubou【한국어판】세계 이사 센터에 오신 것을 환영합니다 - 여자가 먼저 역헌팅하는 게 당연한 세계 EX
동인
RMillet
05/18 41625 170
동인
Mmchair-인기 만점 선생님
k8625
05/18
43843
233
Mmchair-인기 만점 선생님
동인
k8625
05/18 43843 233
영상
[복구] 시그리카 'Thumbs up' 영상 복구
브레머튼
05/18
19398
73
[복구] 시그리카 'Thumbs up' 영상 복구
영상
브레머튼
05/18 19398 73
동인
직번,닭장) [pudding tea] 완숙왕비 로자미아 ~마마편~
CampMan303
05/18
14009
67
직번,닭장) [pudding tea] 완숙왕비 로자미아 ~마마편~
동인
CampMan303
05/18 14009 67
소리
【W유두 괴롭히기×W중출×W폭유 바니걸】～VIP 회원 전용 서비스～W폭유 바니의 정액 완전 착취 뒷골목 카지노
테탑시
05/18
13291
68
【W유두 괴롭히기×W중출×W폭유 바니걸】～VIP 회원 전용 서비스～W폭유 바니의 정액 완전 착취 뒷골목 카지노
소리
테탑시
05/18 13291 68
야짤
ai) 패배 히로인 안나
Ghost
05/18
5204
22
ai) 패배 히로인 안나
야짤
Ghost
05/18 5204 22
야짤
ai) ----스압 임신---- 잘익은 마법소녀 19일 큐어 다이아 추가+
Ghost
05/18
6481
28
ai) ----스압 임신---- 잘익은 마법소녀 19일 큐어 다이아 추가+
야짤
Ghost
05/18 6481 28
번역
[AI번역] 낯선 소녀들, 저를 지켜주세요!
lavia
05/18
41117
161
[AI번역] 낯선 소녀들, 저를 지켜주세요!
번역
lavia
05/18 41117 161
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43