로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4628 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60603
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60603 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90641
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90641 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205035
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205035 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252838
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252838 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243461
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243461 -14
요청
복구요청 공원장난시뮬레이터
mtname
05/25
2059
-4
복구요청 공원장난시뮬레이터
요청
mtname
05/25 2059 -4
정보
유부녀 세리아의 타락과 배덕 발매일 확정
wouwouer
05/25
7467
34
유부녀 세리아의 타락과 배덕 발매일 확정
정보
wouwouer
05/25 7467 34
질문
공포+"야"겜 인거 추천해줄 수 있음?
애널
05/25
1671
0
공포+"야"겜 인거 추천해줄 수 있음?
질문
애널
05/25 1671 0
후기 및 공략
귀갓길-연이은 밤- 엔딩 후기
Nate Higgerson
05/25
2963
12
귀갓길-연이은 밤- 엔딩 후기
후기 및 공략
Nate Higgerson
05/25 2963 12
일반
아부라소바 서클 새게임 나왔네
ryyyyyn
05/25
2291
0
아부라소바 서클 새게임 나왔네
일반
ryyyyyn
05/25 2291 0
질문
게임 이름이 기억이 안나네요
hhtty
05/25
1091
0
게임 이름이 기억이 안나네요
질문
hhtty
05/25 1091 0
질문
(수정)이것과 비슷한 게임을 찾는데요;; 찾았습니다 관심에 감사드립니다^^
hwucs
05/25
2233
1
(수정)이것과 비슷한 게임을 찾는데요;; 찾았습니다 관심에 감사드립니다^^
질문
hwucs
05/25 2233 1
질문
의술사 버전업 질문
nghj7722
05/25
2178
0
의술사 버전업 질문
질문
nghj7722
05/25 2178 0
질문
봉음동굴 에로네스트 해보신분들
jiyee
05/25
2688
0
봉음동굴 에로네스트 해보신분들
질문
jiyee
05/25 2688 0
질문
의술사 다리 어캐놓아요?
lunee
05/25
1610
0
의술사 다리 어캐놓아요?
질문
lunee
05/25 1610 0
질문
존재감 여동생 1.1 모바일은 아직 없는건가?
rice-eating
05/25
1178
0
존재감 여동생 1.1 모바일은 아직 없는건가?
질문
rice-eating
05/25 1178 0
미번
[구매보급] RJ01271506 フォレスティア～ちいさな町の牧場ライフ～ 1.41 + 음성DLC 적용합본
fbrpdlawm
05/25
21765
163
[구매보급] RJ01271506 フォレスティア～ちいさな町の牧場ライフ～ 1.41 + 음성DLC 적용합본
미번
fbrpdlawm
05/25 21765 163
질문
음습의 카쿠리요 마을 이게임 ntr게임들중에 top임??
pouz123
05/25
2321
-1
음습의 카쿠리요 마을 이게임 ntr게임들중에 top임??
질문
pouz123
05/25 2321 -1
질문
망가하나 찾습니다
k97k98
05/25
1566
0
망가하나 찾습니다
질문
k97k98
05/25 1566 0
질문
오나서포 mp3? 이거는 다 일어인데
bestviewg
05/25
2253
0
오나서포 mp3? 이거는 다 일어인데
질문
bestviewg
05/25 2253 0
일반
눈을 떠보니 목이 잘려 있는 여주인공
mowajelly
05/25
6576
26
눈을 떠보니 목이 잘려 있는 여주인공
일반
mowajelly
05/25 6576 26
질문
고전 만화 하나를 찾고 있읍니다...
aicxvmwn
05/25
2953
0
고전 만화 하나를 찾고 있읍니다...
질문
aicxvmwn
05/25 2953 0
요청
[복구요청] RJ01299483 RiNaTest
porsent
05/25
2909
0
[복구요청] RJ01299483 RiNaTest
요청
porsent
05/25 2909 0
후기 및 공략
클리어 후기 : [강화버전]달인 퇴마사는 촉수요마 따위에 굴하지 않아_v260523
우흥
05/25
3286
5
클리어 후기 : [강화버전]달인 퇴마사는 촉수요마 따위에 굴하지 않아_v260523
후기 및 공략
우흥
05/25 3286 5
질문
아득한 세레스피아 세이브없음?
르모듈러
05/25
2001
0
아득한 세레스피아 세이브없음?
질문
르모듈러
05/25 2001 0
질문
색귀 WASD 오류
liamayril
05/25
2312
0
색귀 WASD 오류
질문
liamayril
05/25 2312 0
질문
비월선행록 개조판 정기획득 됨?
o0o99
05/25
2385
0
비월선행록 개조판 정기획득 됨?
질문
o0o99
05/25 2385 0
요청
복구 부탁드립니다.
sa-ba-chan
05/25
3772
0
복구 부탁드립니다.
요청
sa-ba-chan
05/25 3772 0
요청
[복구요청] 대마관 아폴로의 쾌감조교
인디게임보지맨
05/25
1690
0
[복구요청] 대마관 아폴로의 쾌감조교
요청
인디게임보지맨
05/25 1690 0
일반
의술사 패치했더니 주인공 세졌네...
happy3
05/25
2758
0
의술사 패치했더니 주인공 세졌네...
일반
happy3
05/25 2758 0
질문
House of shinobi 게임은 정말
두파루파
05/25
1849
2
House of shinobi 게임은 정말
질문
두파루파
05/25 1849 2
질문
이터넘 질문
dfgtewkwg
05/25
1062
1
이터넘 질문
질문
dfgtewkwg
05/25 1062 1
동인
[ai 번역][Usagi Nagomu] 황혼의 창 엘프 총집편 에일린 파트 1 [p.137]
mybest
05/25
16180
69
[ai 번역][Usagi Nagomu] 황혼의 창 엘프 총집편 에일린 파트 1 [p.137]
동인
mybest
05/25 16180 69
일반
뭐지 메가 서버 터졌나?
mdabedlehm
05/25
1607
-2
뭐지 메가 서버 터졌나?
일반
mdabedlehm
05/25 1607 -2
영상
청아)zzz망상병 집단과 파티
gal-joa
05/25
26827
87
청아)zzz망상병 집단과 파티
영상
gal-joa
05/25 26827 87
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43