로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4670 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90658
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90658 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205069
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205069 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252866
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252866 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243505
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243505 -14
요청
[복구요청] RJ01379123 최음 아파트 1.05 복구요청 드립니다
leftsack
05/21
2310
0
[복구요청] RJ01379123 최음 아파트 1.05 복구요청 드립니다
요청
leftsack
05/21 2310 0
질문
던전 위드 걸 ntr 요소 있다는데 ntr 장면 많음?
cyberzombie
05/21
3713
-2
던전 위드 걸 ntr 요소 있다는데 ntr 장면 많음?
질문
cyberzombie
05/21 3713 -2
정보
프리뷰) 유케무리 시스루
풍수식노천탕
05/21
3552
14
프리뷰) 유케무리 시스루
정보
풍수식노천탕
05/21 3552 14
야짤
주의) 혹시 귀박(ear fuck) 좋아하는 사람 있음?
roomonfire
05/21
5962
14
주의) 혹시 귀박(ear fuck) 좋아하는 사람 있음?
야짤
roomonfire
05/21 5962 14
일반
아직 굿바이dpi마냥 사이트검열 우회할 수단은 없지?
lisca001
05/21
2144
-5
아직 굿바이dpi마냥 사이트검열 우회할 수단은 없지?
일반
lisca001
05/21 2144 -5
질문
게임 찾아 주실수 있을까요
liopu
05/21
1681
0
게임 찾아 주실수 있을까요
질문
liopu
05/21 1681 0
야짤
ai) ----스압---- NiNia 블루아카이브 모음
Ghost
05/21
8752
26
ai) ----스압---- NiNia 블루아카이브 모음
야짤
Ghost
05/21 8752 26
소리
[자막만][AI번역][검수][실시간 추가예정] RJ01573414 One Night! 타키모토 스이
komet52
05/21
10037
61
[자막만][AI번역][검수][실시간 추가예정] RJ01573414 One Night! 타키모토 스이
소리
komet52
05/21 10037 61
영상
프리렌 x 페른 농밀레즈섹스
마른안주
05/21
24080
154
프리렌 x 페른 농밀레즈섹스
영상
마른안주
05/21 24080 154
야짤
90. AI, 셀레스포니아) 최면 보건 검사
miso5
05/21
9402
102
90. AI, 셀레스포니아) 최면 보건 검사
야짤
miso5
05/21 9402 102
질문
벨페고르 사가 원래 이런가?
silsul123
05/21
5330
0
벨페고르 사가 원래 이런가?
질문
silsul123
05/21 5330 0
정보
세븐데이즈 낯선여고생과 밀실생활 제작자 신작 개발 소식
kkkkkk0909
05/21
6653
25
세븐데이즈 낯선여고생과 밀실생활 제작자 신작 개발 소식
정보
kkkkkk0909
05/21 6653 25
일반
언홀메 모드 해야되는데
ntr-masterpeace
05/21
2249
1
언홀메 모드 해야되는데
일반
ntr-masterpeace
05/21 2249 1
야짤
ai) 블루 아카이브 미소노 미카
Ghost
05/21
4089
22
ai) 블루 아카이브 미소노 미카
야짤
Ghost
05/21 4089 22
번역
[AI번역/한글패치/복구] RJ01518150 M남 이지메 스쿨라이프 (M男いじめスクールライフ)
yuuuyu
05/21
31192
59
[AI번역/한글패치/복구] RJ01518150 M남 이지메 스쿨라이프 (M男いじめスクールライフ)
번역
yuuuyu
05/21 31192 59
질문
스포)의술사 리코 질문
zdiwurh
05/21
2450
0
스포)의술사 리코 질문
질문
zdiwurh
05/21 2450 0
일반
코네 모바일 나만 븅딱같냐?
ㅇㅇ
05/21
2388
1
코네 모바일 나만 븅딱같냐?
일반
ㅇㅇ
05/21 2388 1
동인
[siberian hahasky] 내 엄마이자 내가 좋아하는 사람 칼라 효과음 풀 번역 [p.577]
mybest
05/21
18801
132
[siberian hahasky] 내 엄마이자 내가 좋아하는 사람 칼라 효과음 풀 번역 [p.577]
동인
mybest
05/21 18801 132
일반
세븐데이즈 제작자 신작 정보 드디어 올라왔군
ㅇㅇ
05/21
1156
1
세븐데이즈 제작자 신작 정보 드디어 올라왔군
일반
ㅇㅇ
05/21 1156 1
소리
밀착 착정♡ 육덕 에로 풍기 활동 ~아침, 점심, 방과 후 차례대로 교미에 절여진 성생활~ 【풍기위원과 풍속 활동 ASMR】
dasdaa
05/21
15034
123
밀착 착정♡ 육덕 에로 풍기 활동 ~아침, 점심, 방과 후 차례대로 교미에 절여진 성생활~ 【풍기위원과 풍속 활동 ASMR】
소리
dasdaa
05/21 15034 123
야짤
ai) fossil 5월 일부 게시분
Ghost
05/21
5152
21
ai) fossil 5월 일부 게시분
야짤
Ghost
05/21 5152 21
영상
ZHAO 신작 젠존제 아리아
ㅇㅇ
05/21
19906
156
ZHAO 신작 젠존제 아리아
영상
ㅇㅇ
05/21 19906 156
질문
셀레스포니아 메이플, 꼬리 어떻게 착용하나요..?
7성Sider
05/21
2297
0
셀레스포니아 메이플, 꼬리 어떻게 착용하나요..?
질문
7성Sider
05/21 2297 0
일반
이제 그림쟁이들의 미래는 시엔하고 패트리온 뿐인가?
parksynim5764
05/21
3294
0
이제 그림쟁이들의 미래는 시엔하고 패트리온 뿐인가?
일반
parksynim5764
05/21 3294 0
질문
의술사) 티사살리기 프로젝트 질문
미미쨩
05/21
3170
0
의술사) 티사살리기 프로젝트 질문
질문
미미쨩
05/21 3170 0
일반
뭣?! 보이스 추가라고?
네토라레프린세스
05/21
2893
4
뭣?! 보이스 추가라고?
일반
네토라레프린세스
05/21 2893 4
야짤
ai) ﾄﾘｭﾌ 모음집
Ghost
05/21
5675
20
ai) ﾄﾘｭﾌ 모음집
야짤
Ghost
05/21 5675 20
미번
[미번/구매보급/3D 조교] FORTUNE BRIDE ~ 절정개안의 의식 v1.10 (26.05.26)
밤꽃향기 그윽한 어느 여름날..
05/21
35889
144
[미번/구매보급/3D 조교] FORTUNE BRIDE ~ 절정개안의 의식 v1.10 (26.05.26)
미번
밤꽃향기 그윽한 어느 여름날..
05/21 35889 144
요청
[복구요청]초보 가출 소녀와 나 Sweet Days 1.05 한글패치 복구요청
Luctorio
05/21
3706
2
[복구요청]초보 가출 소녀와 나 Sweet Days 1.05 한글패치 복구요청
요청
Luctorio
05/21 3706 2
일반
오랜만에 포켓몬 너즐록 챌린지 성공
asljkajksafj0293213
05/21
1940
2
오랜만에 포켓몬 너즐록 챌린지 성공
일반
asljkajksafj0293213
05/21 1940 2
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43