로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4641 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90644
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90644 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205039
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205039 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252846
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252846 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243473
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243473 -14
일반
야겜하면서 깨달은것
빨간색마키아토
05/25
1924
2
야겜하면서 깨달은것
일반
빨간색마키아토
05/25 1924 2
야짤
(후타) 딸치다 걸린 미쿠
duckuu12
05/25
9709
26
(후타) 딸치다 걸린 미쿠
야짤
duckuu12
05/25 9709 26
요청
[복구요청] 당신과 그녀와 그녀의 사랑 (토토노) 복구 부탁드립니다!
power3126
05/25
2770
0
[복구요청] 당신과 그녀와 그녀의 사랑 (토토노) 복구 부탁드립니다!
요청
power3126
05/25 2770 0
정보
노모 동인지나 상업지 구하는곳
mybest
05/25
8738
40
노모 동인지나 상업지 구하는곳
정보
mybest
05/25 8738 40
요청
[복구요청] ViciNeko 영상 모음
키캣키링
05/25
2055
1
[복구요청] ViciNeko 영상 모음
요청
키캣키링
05/25 2055 1
후기 및 공략
내 비참한 인생 후기
15238603208
05/25
7107
34
내 비참한 인생 후기
후기 및 공략
15238603208
05/25 7107 34
일반
척영늑대←이거 왜 아직도 체험판임??
ㅇㅇ
05/25
1463
1
척영늑대←이거 왜 아직도 체험판임??
일반
ㅇㅇ
05/25 1463 1
동인
AI번역 손식질) 직장근처에서 만난 알바(41)와 여행을 갔더니 애정어린 연인같은 섹스에서 성욕이 드러난 본능을 마음껏 이틀동안 폭풍섹스했던 이야기
1Q2W3E4R
05/25
15385
95
AI번역 손식질) 직장근처에서 만난 알바(41)와 여행을 갔더니 애정어린 연인같은 섹스에서 성욕이 드러난 본능을 마음껏 이틀동안 폭풍섹스했던 이야기
동인
1Q2W3E4R
05/25 15385 95
일반
의술사 ㄹㅇ 올해의 야'겜'이다
소하
05/25
1916
1
의술사 ㄹㅇ 올해의 야'겜'이다
일반
소하
05/25 1916 1
질문
(스포)의술사 설득할 때 질문
paddackmon
05/25
2780
0
(스포)의술사 설득할 때 질문
질문
paddackmon
05/25 2780 0
일반
컴이 망가져서 야겜 다 날려먹었다
가로쉬
05/25
3050
2
컴이 망가져서 야겜 다 날려먹었다
일반
가로쉬
05/25 3050 2
질문
transfer.it 다운로드 질문
zatsidjc
05/25
2211
1
transfer.it 다운로드 질문
질문
zatsidjc
05/25 2211 1
일반
사미다레떴다잇
mmmp
05/25
2328
2
사미다레떴다잇
일반
mmmp
05/25 2328 2
후기 및 공략
의술사 엔딩 다 봤다
니아GG
05/25
4357
6
의술사 엔딩 다 봤다
후기 및 공략
니아GG
05/25 4357 6
질문
동인지나 이런곳에 쓸만한 시오후키 png 어디서 구해야하나
순백의 칸도레
05/25
1490
-1
동인지나 이런곳에 쓸만한 시오후키 png 어디서 구해야하나
질문
순백의 칸도레
05/25 1490 -1
작업현황
현재 작업중인 작품 노모로 시리즈 작업중임
mybest
05/25
3139
12
현재 작업중인 작품 노모로 시리즈 작업중임
작업현황
mybest
05/25 3139 12
영상
[후타][퍼리][귀박주의] ear fuck 영상 모음
roomonfire
05/25
20790
78
[후타][퍼리][귀박주의] ear fuck 영상 모음
영상
roomonfire
05/25 20790 78
질문
여주물 게임 좀 찾아주세요
satam1212
05/25
2368
0
여주물 게임 좀 찾아주세요
질문
satam1212
05/25 2368 0
복구
[요청복구] 렌파이 NewHorizon-0.4-pc
65410
05/25
11397
47
[요청복구] 렌파이 NewHorizon-0.4-pc
복구
65410
05/25 11397 47
후기 및 공략
폭섹팜 신박하네
Nate Higgerson
05/25
3187
6
폭섹팜 신박하네
후기 및 공략
Nate Higgerson
05/25 3187 6
일반
개껄리는 asmr 찾아서 번역하려는데
alun1001
05/25
1085
0
개껄리는 asmr 찾아서 번역하려는데
일반
alun1001
05/25 1085 0
일반
그래도 6월에 게임들 좀 나오니까.....
chrispypie
05/25
1447
0
그래도 6월에 게임들 좀 나오니까.....
일반
chrispypie
05/25 1447 0
일반
나같은빡대갈은 언홀메넘모어렵고
Kikio
05/25
1595
0
나같은빡대갈은 언홀메넘모어렵고
일반
Kikio
05/25 1595 0
질문
횡스 액션 갓겜 또 뭐있더라
futajomusa
05/25
1579
1
횡스 액션 갓겜 또 뭐있더라
질문
futajomusa
05/25 1579 1
일반
아 요즘 할게임 너무없어서 못참고 이터넘0.9 달렸다
아니그러니까왜이러시는데요
05/25
1098
0
아 요즘 할게임 너무없어서 못참고 이터넘0.9 달렸다
일반
아니그러니까왜이러시는데요
05/25 1098 0
후기 및 공략
NTR, 스포주의) 파멸로의 카운트다운 리뷰
drogba
05/25
5410
14
NTR, 스포주의) 파멸로의 카운트다운 리뷰
후기 및 공략
drogba
05/25 5410 14
질문
최근에 뭐 버진로드 통합판 나왔던데 이거 새로 추가된건 없는건가?
uwu-o
05/25
1274
0
최근에 뭐 버진로드 통합판 나왔던데 이거 새로 추가된건 없는건가?
질문
uwu-o
05/25 1274 0
질문
ntr 만화 질문
akarammone123
05/25
1633
-1
ntr 만화 질문
질문
akarammone123
05/25 1633 -1
질문
의술사 추락지점
lunee
05/25
2490
0
의술사 추락지점
질문
lunee
05/25 2490 0
요청
[복구요청] RJ01332822 평범한 현실 남매 IN 섹스하지 않으면 나올 수 없는 방에 갇힌다.
kolos
05/25
3125
0
[복구요청] RJ01332822 평범한 현실 남매 IN 섹스하지 않으면 나올 수 없는 방에 갇힌다.
요청
kolos
05/25 3125 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43