로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4522 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60573
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60573 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90547
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90547 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204570
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204570 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252680
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252680 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243266
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243266 -14
동인
[직번] [remu] 조교 프로페셔널 ~육변기가게의 극의~
maha1004
05/27
13369
61
[직번] [remu] 조교 프로페셔널 ~육변기가게의 극의~
동인
maha1004
05/27 13369 61
영상
미야비 & 외눈박이 (ZZZ)
브레머튼
05/27
9668
69
미야비 & 외눈박이 (ZZZ)
영상
브레머튼
05/27 9668 69
영상
비디오 가게에 방문한 의현 (ZZZ)
브레머튼
05/27
8178
67
비디오 가게에 방문한 의현 (ZZZ)
영상
브레머튼
05/27 8178 67
야짤
ai, 벽람) 아타고와 러브러브 질내사정 섹스 라이프
kjh9304
05/27
4233
73
ai, 벽람) 아타고와 러브러브 질내사정 섹스 라이프
야짤
kjh9304
05/27 4233 73
질문
여기에 자작게임 올려도 되나요?
곰돌123
05/27
4986
50
여기에 자작게임 올려도 되나요?
질문
곰돌123
05/27 4986 50
동인
특급 마술사 미리아 어디서나 이용가능한 참회 구멍
Yuzu
05/27
20109
79
특급 마술사 미리아 어디서나 이용가능한 참회 구멍
동인
Yuzu
05/27 20109 79
소리
【❤️전편 아이 만들기 질내사정 에치❤️】 달콤러브 아이 만들기 메이드❤️ 무척 일편단심에 헌신적인 당신만의 메이드와 아이 만들기 보지 에치를 하는 호화로운 봉사 라이프❤️
키리안
05/26
5432
72
【❤️전편 아이 만들기 질내사정 에치❤️】 달콤러브 아이 만들기 메이드❤️ 무척 일편단심에 헌신적인 당신만의 메이드와 아이 만들기 보지 에치를 하는 호화로운 봉사 라이프❤️
소리
키리안
05/26 5432 72
야짤
AI (하드:능욕, 보태, 출산 주의!) 개인적으로 좋아하는 야겜 엔딩
진한농도
05/26
8197
25
AI (하드:능욕, 보태, 출산 주의!) 개인적으로 좋아하는 야겜 엔딩
야짤
진한농도
05/26 8197 25
동인
AI번역, Shift) 우리들! 성교육 위원회 만화판
sexe1
05/26
25133
98
AI번역, Shift) 우리들! 성교육 위원회 만화판
동인
sexe1
05/26 25133 98
복구
[요청복구] Cage of Tentacles v1.3.0
vhskorea
05/26
9322
30
[요청복구] Cage of Tentacles v1.3.0
복구
vhskorea
05/26 9322 30
복구
[요청복구] 퀸즈 - 대전형 카지노 솔리테어 RJ01248973
nue
05/26
9868
27
[요청복구] 퀸즈 - 대전형 카지노 솔리테어 RJ01248973
복구
nue
05/26 9868 27
번역
(이미지 번역 파일만) [RJ01619107] 소와 양의 잡화점 (牛と羊の雑貨屋さん)
5dk2io1
05/26
22018
161
(이미지 번역 파일만) [RJ01619107] 소와 양의 잡화점 (牛と羊の雑貨屋さん)
번역
5dk2io1
05/26 22018 161
영상
아스트라 & 이블린의 특별 무대 [feat. 와이즈 & 후타 벨]
브레머튼
05/26
12828
75
아스트라 & 이블린의 특별 무대 [feat. 와이즈 & 후타 벨]
영상
브레머튼
05/26 12828 75
미번
청아,업뎃) 세상 모르는 단또년 1.04
쩝냡
05/26
8128
42
청아,업뎃) 세상 모르는 단또년 1.04
미번
쩝냡
05/26 8128 42
소리
[구매보급] [전편 카섹스 × 달콤신음] "거긴 진짜 안 된다니까아♡" 밀실 · 조교 · 카섹스❗ JK마스코드 미소녀가 철퍽철퍽 조교당해 마조 애완동물로 타락하는 이야기♡
미식이네
05/26
6974
62
[구매보급] [전편 카섹스 × 달콤신음] "거긴 진짜 안 된다니까아♡" 밀실 · 조교 · 카섹스❗ JK마스코드 미소녀가 철퍽철퍽 조교당해 마조 애완동물로 타락하는 이야기♡
소리
미식이네
05/26 6974 62
영상
[5/26] 부티 바운스 비치스 Full 영상
브레머튼
05/26
14617
117
[5/26] 부티 바운스 비치스 Full 영상
영상
브레머튼
05/26 14617 117
후기 및 공략
와 드디어 봤다 카린 해피엔딩
rmfjrmfjgkek
05/26
4734
25
와 드디어 봤다 카린 해피엔딩
후기 및 공략
rmfjrmfjgkek
05/26 4734 25
번역
[기번/이지트랜스 필요/패치만] 포레스티아 1.41 + 음성 DLC
123441352
05/26
20919
101
[기번/이지트랜스 필요/패치만] 포레스티아 1.41 + 음성 DLC
번역
123441352
05/26 20919 101
소리
[구매보급][1편+2편]불로불사의 "오니공주"와 " 여우신"은 당신 전용 도M 여친
이름뭐하지
05/26
6790
61
[구매보급][1편+2편]불로불사의 "오니공주"와 " 여우신"은 당신 전용 도M 여친
소리
이름뭐하지
05/26 6790 61
영상
래빗홀 밐쿠
yeondooooo
05/26
19668
107
래빗홀 밐쿠
영상
yeondooooo
05/26 19668 107
동인
Doragon74-빼앗긴 유부녀 하나코씨
k8625
05/26
25048
163
Doragon74-빼앗긴 유부녀 하나코씨
동인
k8625
05/26 25048 163
동인
Doragon74-나의 서포터즈 아카데미아
k8625
05/26
22349
118
Doragon74-나의 서포터즈 아카데미아
동인
k8625
05/26 22349 118
동인
[AI번역] [kobaji] leveling unleash (히로아카)
초보역식자
05/26
9812
35
[AI번역] [kobaji] leveling unleash (히로아카)
동인
초보역식자
05/26 9812 35
소리
[구매보급] [자막] RJ01339397
puella
05/26
7198
74
[구매보급] [자막] RJ01339397
소리
puella
05/26 7198 74
동인
Doragon74-김쭈쭈 시리즈
k8625
05/26
20446
77
Doragon74-김쭈쭈 시리즈
동인
k8625
05/26 20446 77
동인
[Yuzuri Ai] L컵 여자대학생 20cm 초극태O지로 동인AV데뷔 1, 2
1uF
05/26
19170
95
[Yuzuri Ai] L컵 여자대학생 20cm 초극태O지로 동인AV데뷔 1, 2
동인
1uF
05/26 19170 95
동인
직번) [Akai Condor] 노예 시장의 실태 ~도쿄 빅사이트에 실존하는 현대 일본의 변태적 어둠~
qlalfsla
05/26
17877
91
직번) [Akai Condor] 노예 시장의 실태 ~도쿄 빅사이트에 실존하는 현대 일본의 변태적 어둠~
동인
qlalfsla
05/26 17877 91
동인
[Natsu No Oyatsu] 엄마의 잔향
1uF
05/26
9989
26
[Natsu No Oyatsu] 엄마의 잔향
동인
1uF
05/26 9989 26
영상
[5/25] 신춘특집 1부 (디퍼런스 버전)
브레머튼
05/26
10887
72
[5/25] 신춘특집 1부 (디퍼런스 버전)
영상
브레머튼
05/26 10887 72
동인
Yakitomato-구직 실패한 서큐버스씨를 주웠습니다
k8625
05/26
12200
62
Yakitomato-구직 실패한 서큐버스씨를 주웠습니다
동인
k8625
05/26 12200 62
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43