로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4633 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90644
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90644 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205038
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205038 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252843
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252843 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243463
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243463 -14
질문
솔루이 미니 학교편 무서워?
oimasage
05/25
1848
1
솔루이 미니 학교편 무서워?
질문
oimasage
05/25 1848 1
후기 및 공략
고블린 월드 중도포기하고 쓰는 후기(부제 : 평점이 그따구인 이유)
chrispypie
05/25
3118
10
고블린 월드 중도포기하고 쓰는 후기(부제 : 평점이 그따구인 이유)
후기 및 공략
chrispypie
05/25 3118 10
동인
직번) ※보추주의 [Brother Pierrot] 갸루 낭자애 수사관과 자지 쥠초밥
qlalfsla
05/25
14859
39
직번) ※보추주의 [Brother Pierrot] 갸루 낭자애 수사관과 자지 쥠초밥
동인
qlalfsla
05/25 14859 39
일반
소년 용사 켄은 하면 할수록 진짜 안타깝다
익명
05/25
2505
0
소년 용사 켄은 하면 할수록 진짜 안타깝다
일반
익명
05/25 2505 0
요청
[복구요청][3D/여주/노출][버전업/한글지원/노모] 비밀 노출 -배덕의 달콤함에 물든 마나카- v1.13 업적 100% 세이브파일
altmrhkdaud
05/25
3304
0
[복구요청][3D/여주/노출][버전업/한글지원/노모] 비밀 노출 -배덕의 달콤함에 물든 마나카- v1.13 업적 100% 세이브파일
요청
altmrhkdaud
05/25 3304 0
정보
여름 전에 나오는 갓겜
aemeath
05/25
10075
52
여름 전에 나오는 갓겜
정보
aemeath
05/25 10075 52
후기 및 공략
시퀄 시리즈 플레이하고 재밌었던 순
futajomusa
05/25
1762
4
시퀄 시리즈 플레이하고 재밌었던 순
후기 및 공략
futajomusa
05/25 1762 4
질문
언홀메 극초반 질문
oohyo
05/25
1908
0
언홀메 극초반 질문
질문
oohyo
05/25 1908 0
미번
[미번/이종간/촉수] 태양의 기사 에리카 0.1.9.1 핫픽스버전 (치트판)
루파조아
05/25
13583
71
[미번/이종간/촉수] 태양의 기사 에리카 0.1.9.1 핫픽스버전 (치트판)
미번
루파조아
05/25 13583 71
야짤
처녀막 검사하기 직전
ㅇㅇ
05/25
6129
12
처녀막 검사하기 직전
야짤
ㅇㅇ
05/25 6129 12
요청
[복구요청] [RJ01131276] 흡혈귀○○일기
NightHawk
05/25
1850
0
[복구요청] [RJ01131276] 흡혈귀○○일기
요청
NightHawk
05/25 1850 0
일반
던브 1회차 완료했는데 주차플레이 필요없을듯
fusbriwidhei32
05/25
1737
0
던브 1회차 완료했는데 주차플레이 필요없을듯
일반
fusbriwidhei32
05/25 1737 0
일반
하 씨발 치유계 누나한테 시코시코 받고 싶다
인생좆망함
05/25
2537
0
하 씨발 치유계 누나한테 시코시코 받고 싶다
일반
인생좆망함
05/25 2537 0
일반
의술사 ㅅㅂ..
ajsskend
05/25
2424
0
의술사 ㅅㅂ..
일반
ajsskend
05/25 2424 0
영상
mmd - 비스크돌 코스프레 실루엣 야스댄스 - Thumbs Up
madrush
05/25
31731
260
mmd - 비스크돌 코스프레 실루엣 야스댄스 - Thumbs Up
영상
madrush
05/25 31731 260
일반
머야 페트론에 태양의 기사 에리카 0.1.9언제 올라왓데
루파조아
05/25
1629
1
머야 페트론에 태양의 기사 에리카 0.1.9언제 올라왓데
일반
루파조아
05/25 1629 1
질문
형님들 그....섹스 종류중하나였는데 동인지에서 봤던거같은데...섹스 이름이 기억이안나요...
jdhdgcxds
05/25
2853
5
형님들 그....섹스 종류중하나였는데 동인지에서 봤던거같은데...섹스 이름이 기억이안나요...
질문
jdhdgcxds
05/25 2853 5
질문
의술사 질문 하나만..
paddackmon
05/25
2406
0
의술사 질문 하나만..
질문
paddackmon
05/25 2406 0
질문
의슬사 서브퀘 하나 뭔지 모르겠음
rummy
05/25
2370
0
의슬사 서브퀘 하나 뭔지 모르겠음
질문
rummy
05/25 2370 0
후기 및 공략
JJJJJ가 적는 카린형무소 후기 및 계획표
gooddaytodie
05/25
3180
5
JJJJJ가 적는 카린형무소 후기 및 계획표
후기 및 공략
gooddaytodie
05/25 3180 5
복구
[요청 복구]For the queen
오우즉시반말
05/25
20429
64
[요청 복구]For the queen
복구
오우즉시반말
05/25 20429 64
복구
[요청복구] 장탈기사 님포리아 v1.07
zadvoskoi
05/25
11803
33
[요청복구] 장탈기사 님포리아 v1.07
복구
zadvoskoi
05/25 11803 33
후기 및 공략
의술사 이거 초반부터 심상치않은데(스포)
paddackmon
05/25
3032
2
의술사 이거 초반부터 심상치않은데(스포)
후기 및 공략
paddackmon
05/25 3032 2
정보
35살 처녀 마법사 속편근황
sorbe123
05/25
6255
16
35살 처녀 마법사 속편근황
정보
sorbe123
05/25 6255 16
후기 및 공략
(스포주의) 세븐데이즈 클리어 했습니다
oolloojr
05/25
2253
9
(스포주의) 세븐데이즈 클리어 했습니다
후기 및 공략
oolloojr
05/25 2253 9
요청
[복구요청] 블루스킨의 숲 ぶるーすきんの森
로켓드릴킥
05/25
2066
0
[복구요청] 블루스킨의 숲 ぶるーすきんの森
요청
로켓드릴킥
05/25 2066 0
질문
비월선행록 유리탑 질문
ㅇㅇ
05/25
1549
0
비월선행록 유리탑 질문
질문
ㅇㅇ
05/25 1549 0
요청
Madruga3D 복구 요청 합니다!
zadvoskoi
05/25
1780
0
Madruga3D 복구 요청 합니다!
요청
zadvoskoi
05/25 1780 0
요청
[복구 요청] 척영의 늑대 0.7.8.3 한글판
raccoonramen
05/25
3057
0
[복구 요청] 척영의 늑대 0.7.8.3 한글판
요청
raccoonramen
05/25 3057 0
복구
[요청복구] RJ211777 복수의 오크
zadvoskoi
05/25
18322
57
[요청복구] RJ211777 복수의 오크
복구
zadvoskoi
05/25 18322 57
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43