로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4757 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60632
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60632 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90776
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90776 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205254
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205254 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253368
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253368 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243700
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243700 -14
복구
90일, 1.06 GB) 1-1. RJ112559 ROBF v4.1. 개선 26.05.11.7z
ㅇㅇ
05/09
17537
44
90일, 1.06 GB) 1-1. RJ112559 ROBF v4.1. 개선 26.05.11.7z
복구
ㅇㅇ
05/09 17537 44
야짤
[がまれんじ] 아~~ 울지 마
edo
05/09
16719
50
[がまれんじ] 아~~ 울지 마
야짤
edo
05/09 16719 50
미번
[복구/미번]淫らに滅殺! 桃色くノ一忍法帖♪ ～陵姦将軍の淫棒!?～
k704614
05/09
10494
20
[복구/미번]淫らに滅殺! 桃色くノ一忍法帖♪ ～陵姦将軍の淫棒!?～
미번
k704614
05/09 10494 20
영상
폭유파티 리에타 서브 260429 짤&영상 그리고 낙서장
riden
05/09
31963
60
폭유파티 리에타 서브 260429 짤&영상 그리고 낙서장
영상
riden
05/09 31963 60
유틸
(코이카츠) 씬 카드 공유
pst0025
05/09
9096
44
(코이카츠) 씬 카드 공유
유틸
pst0025
05/09 9096 44
영상
[복구/청아/자막포함] mⓐloⓧx 모음
imakotou
05/09
37936
163
[복구/청아/자막포함] mⓐloⓧx 모음
영상
imakotou
05/09 37936 163
번역
[AI기번] RJ01118993 せんせーしっかく!w 무검수 젬마 4 26b번역 번역파일만
kleeep
05/09
36054
74
[AI기번] RJ01118993 せんせーしっかく!w 무검수 젬마 4 26b번역 번역파일만
번역
kleeep
05/09 36054 74
영상
[복구/청아/자막] xinhai999 모음
imakotou
05/09
18000
81
[복구/청아/자막] xinhai999 모음
영상
imakotou
05/09 18000 81
복구
서큐버스 테일 0.77
킬러튠큐
05/09
13755
24
서큐버스 테일 0.77
복구
킬러튠큐
05/09 13755 24
야짤
번역 안나와서 아쉬운 작 하나
qew123
05/09
9029
50
번역 안나와서 아쉬운 작 하나
야짤
qew123
05/09 9029 50
번역
[버전업 알림] Sex Beats 5월 업데이트
argoklarke
05/09
40424
95
[버전업 알림] Sex Beats 5월 업데이트
번역
argoklarke
05/09 40424 95
동인
현재까지 올린 AI 번역 모음집
mybest
05/09
16133
43
현재까지 올린 AI 번역 모음집
동인
mybest
05/09 16133 43
동인
[ろきた][번역] 은랑 사용하기
doyoulikekim
05/09
23423
69
[ろきた][번역] 은랑 사용하기
동인
doyoulikekim
05/09 23423 69
후기 및 공략
[짧후기, 약스포]풍기위원은 여음마의 꿈을 꾸는가?
peachborn
05/09
5197
21
[짧후기, 약스포]풍기위원은 여음마의 꿈을 꾸는가?
후기 및 공략
peachborn
05/09 5197 21
소리
[구매보급] 정떨어져하며 봉사해 주는 압박에 약한 에치한 여자친구
돈이조아
05/09
11047
77
[구매보급] 정떨어져하며 봉사해 주는 압박에 약한 에치한 여자친구
소리
돈이조아
05/09 11047 77
야짤
ai, 붕스) 사랑하는 반디와 밤새 잔뜩 질내사정 섹스 했다
kjh9304
05/09
17528
103
ai, 붕스) 사랑하는 반디와 밤새 잔뜩 질내사정 섹스 했다
야짤
kjh9304
05/09 17528 103
영상
[복구/청아/자막포함] 푸른 여우 3D 애니메이션
imakotou
05/09
12345
59
[복구/청아/자막포함] 푸른 여우 3D 애니메이션
영상
imakotou
05/09 12345 59
복구
[요청복구] RJ273000 Milking Farm 밀킹팜
끼르하나
05/09
42735
73
[요청복구] RJ273000 Milking Farm 밀킹팜
복구
끼르하나
05/09 42735 73
영상
[야애니/알림] 음오옥 똰지 5화 업 알림
공승아
05/09
13278
53
[야애니/알림] 음오옥 똰지 5화 업 알림
영상
공승아
05/09 13278 53
야짤
[AI 채색] [RAMA] 유우키는 나의것
fhfhfghdr453
05/09
11110
21
[AI 채색] [RAMA] 유우키는 나의것
야짤
fhfhfghdr453
05/09 11110 21
동인
Ai번역 손식질) 간판소녀 재정사정5 (과거편 2)
1Q2W3E4R
05/09
22435
97
Ai번역 손식질) 간판소녀 재정사정5 (과거편 2)
동인
1Q2W3E4R
05/09 22435 97
작업현황
[RJ1200621] ReturnAtis 번역 아무도 안하는거 같아서 내가 해보기
098gs
05/09
7915
16
[RJ1200621] ReturnAtis 번역 아무도 안하는거 같아서 내가 해보기
작업현황
098gs
05/09 7915 16
영상
mmd - 코미양 모녀 NTR 야스댄스 (ELEVEN)
madrush
05/09
26276
187
mmd - 코미양 모녀 NTR 야스댄스 (ELEVEN)
영상
madrush
05/09 26276 187
번역
[ver2 업데이트] [v1.286] 비월선행록 번역파일만 [AI 직접 번역]
handlejk
05/09
76666
220
[ver2 업데이트] [v1.286] 비월선행록 번역파일만 [AI 직접 번역]
번역
handlejk
05/09 76666 220
영상
[5/9] 결박당한 여우 무녀 (+ 누드 버전 추가)
브레머튼
05/09
37987
209
[5/9] 결박당한 여우 무녀 (+ 누드 버전 추가)
영상
브레머튼
05/09 37987 209
동인
B@senokim 하이그레원피스 한글
다크오니즈카
05/09
20745
25
B@senokim 하이그레원피스 한글
동인
다크오니즈카
05/09 20745 25
미번
[복구/미번] 아야 서클 게임 5종 최신 버전 총 집합
압도적감사
05/09
10704
39
[복구/미번] 아야 서클 게임 5종 최신 버전 총 집합
미번
압도적감사
05/09 10704 39
소리
[구매보급][한국어자막] オトヨメ 서클 작품 3개
eorini
05/09
21746
102
[구매보급][한국어자막] オトヨメ 서클 작품 3개
소리
eorini
05/09 21746 102
영상
후원보급,Br@n)브란짱 + 통합편집
비밀봉투
05/08
14675
81
후원보급,Br@n)브란짱 + 통합편집
영상
비밀봉투
05/08 14675 81
미번
[구매보급] RJ01549336 알미오시온의 의술사 ver 1.044
djeh7
05/08
26490
173
[구매보급] RJ01549336 알미오시온의 의술사 ver 1.044
미번
djeh7
05/08 26490 173
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43