로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4747 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60620
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60620 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90753
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90753 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205241
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205241 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253313
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253313 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243632
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243632 -14
영상
[복구] 에이메스 & 린네 (명조) 복구 영상 3개
브레머튼
05/08
20134
79
[복구] 에이메스 & 린네 (명조) 복구 영상 3개
영상
브레머튼
05/08 20134 79
번역
[AI][패치만] RJ01549336 알미오시온의 의술사 ver 1.044
lovesccubus
05/08
67820
309
[AI][패치만] RJ01549336 알미오시온의 의술사 ver 1.044
번역
lovesccubus
05/08 67820 309
야짤
[국산 우리 농수간물]수간 커미션 모음집
412343
05/08
14508
68
[국산 우리 농수간물]수간 커미션 모음집
야짤
412343
05/08 14508 68
야짤
ai, 찢) 이블린과 휴일에 데이트 후 잔뜩 연인섹스 했다
kjh9304
05/08
12786
121
ai, 찢) 이블린과 휴일에 데이트 후 잔뜩 연인섹스 했다
야짤
kjh9304
05/08 12786 121
미번
[구매보급] [버전업] RJ01491971 마을의 간판녀가 권력자의 눈에 띄게 되는 이야기 26.05.07
gkqisq
05/08
13909
44
[구매보급] [버전업] RJ01491971 마을의 간판녀가 권력자의 눈에 띄게 되는 이야기 26.05.07
미번
gkqisq
05/08 13909 44
동인
[AI번역-노모 풀컬러] Master Works + Master Piece[수정]
mybest
05/08
38933
163
[AI번역-노모 풀컬러] Master Works + Master Piece[수정]
동인
mybest
05/08 38933 163
동인
[AI번역-♥개추♥][Okayusan] ★지금까지 가장 좋았던 섹스★(노모)
mybest
05/08
26813
82
[AI번역-♥개추♥][Okayusan] ★지금까지 가장 좋았던 섹스★(노모)
동인
mybest
05/08 26813 82
미번
[미번/번역요청]NymPri_Alpha_080h[님포](5월 패치) 적용
우욿
05/07
10666
26
[미번/번역요청]NymPri_Alpha_080h[님포](5월 패치) 적용
미번
우욿
05/07 10666 26
번역
[RJ01042589]사막 왕국과 노예 사냥 V3.1.0 (현재 메인스토리 완료까지 멈춤 수정 )
sawsd
05/07
39347
125
[RJ01042589]사막 왕국과 노예 사냥 V3.1.0 (현재 메인스토리 완료까지 멈춤 수정 )
번역
sawsd
05/07 39347 125
동인
(노모화) [Shiwasu No Okina] '에로♡삐삐' 단행본 완료 [Decensored]
xbox
05/07
15629
85
(노모화) [Shiwasu No Okina] '에로♡삐삐' 단행본 완료 [Decensored]
동인
xbox
05/07 15629 85
영상
[나의 히어로 아카데미아](재업) 랙돌x데쿠 + 서비스 신(청소) + 화질 up
Ghost
05/07
22335
159
[나의 히어로 아카데미아](재업) 랙돌x데쿠 + 서비스 신(청소) + 화질 up
영상
Ghost
05/07 22335 159
번역
[RJ01575169/이미지번역/기게번역] 가출 딸, 주웠습니다. (2026.05.07)
candle
05/07
87680
397
[RJ01575169/이미지번역/기게번역] 가출 딸, 주웠습니다. (2026.05.07)
번역
candle
05/07 87680 397
번역
[버전업 알림] 이케부쿠로 섹스로이드 학원 v1.3.1
jaaxmaster
05/07
50861
203
[버전업 알림] 이케부쿠로 섹스로이드 학원 v1.3.1
번역
jaaxmaster
05/07 50861 203
복구
[요청복구] 236799 그녀가 노예가 된 이유 - 여도적실피와잠들지않는섬 -
VoTaeBe
05/07
34642
60
[요청복구] 236799 그녀가 노예가 된 이유 - 여도적실피와잠들지않는섬 -
복구
VoTaeBe
05/07 34642 60
동인
[Asani nemuru]부모님이 심취한 노출교에 강제 입교당한 소녀
요요코코
05/07
36808
65
[Asani nemuru]부모님이 심취한 노출교에 강제 입교당한 소녀
동인
요요코코
05/07 36808 65
소리
[구매보급]NO라고 말할 수 없는 무방비 JK와 농후한 씨받이 연인 섹스
이름뭐하지
05/07
14856
48
[구매보급]NO라고 말할 수 없는 무방비 JK와 농후한 씨받이 연인 섹스
소리
이름뭐하지
05/07 14856 48
동인
[번역](ahemaru) - 하이엘프 여왕과 공주가 성범죄자를 응징한다. 라는 내용의 만화
핥는맛
05/07
32985
189
[번역](ahemaru) - 하이엘프 여왕과 공주가 성범죄자를 응징한다. 라는 내용의 만화
동인
핥는맛
05/07 32985 189
미번
[미번/구매보급] 绯月仙行录 비월선행록 간체자 V1.287 버그수정본
흑토끼
05/07
30599
101
[미번/구매보급] 绯月仙行录 비월선행록 간체자 V1.287 버그수정본
미번
흑토끼
05/07 30599 101
복구
[일부90일]요청복구 5게 +최신화 완료+
Ghost
05/07
54824
111
[일부90일]요청복구 5게 +최신화 완료+
복구
Ghost
05/07 54824 111
영상
(명조) 히유키
브레머튼
05/07
16800
112
(명조) 히유키
영상
브레머튼
05/07 16800 112
영상
수나 (ZZZ)
브레머튼
05/07
17751
101
수나 (ZZZ)
영상
브레머튼
05/07 17751 101
복구
RJ01037663) 서큐버스 장군의 병력 증산소
양겜소믈리에
05/07
28483
80
RJ01037663) 서큐버스 장군의 병력 증산소
복구
양겜소믈리에
05/07 28483 80
동인
[Liyoosa]불법 카지노에서 정체가 탄로나 조교당하는 여주인공
요요코코
05/07
42572
171
[Liyoosa]불법 카지노에서 정체가 탄로나 조교당하는 여주인공
동인
요요코코
05/07 42572 171
동인
[ai번역] 발기부전 밖에 태어나지 않는 섬에서 유일한 절륜 2
yaoino
05/07
31022
56
[ai번역] 발기부전 밖에 태어나지 않는 섬에서 유일한 절륜 2
동인
yaoino
05/07 31022 56
영상
[복구] 신데렐라(니케) 복구 영상
브레머튼
05/07
17102
56
[복구] 신데렐라(니케) 복구 영상
영상
브레머튼
05/07 17102 56
미번
[구매 보급] RJ01485652 終末のオルターエゴイズム
salrami5752
05/07
9558
30
[구매 보급] RJ01485652 終末のオルターエゴイズム
미번
salrami5752
05/07 9558 30
영상
[요청복구][게임녹화]리본 아일랜드
komet52
05/07
22626
41
[요청복구][게임녹화]리본 아일랜드
영상
komet52
05/07 22626 41
야짤
AI, 셀레스포니아) 유리 캡슐 구속 (촉수, 보테배 주의)
miso5
05/07
18793
86
AI, 셀레스포니아) 유리 캡슐 구속 (촉수, 보테배 주의)
야짤
miso5
05/07 18793 86
동인
[AI번역][Tachi Iyashi] Maso Mesu Happy Acme (decensored)
mybest
05/07
27196
92
[AI번역][Tachi Iyashi] Maso Mesu Happy Acme (decensored)
동인
mybest
05/07 27196 92
소리
점장인데도 소악마 알바 전속 자지가 되어버렸습니다. CV. 야나기 히토미
maruran
05/07
7022
55
점장인데도 소악마 알바 전속 자지가 되어버렸습니다. CV. 야나기 히토미
소리
maruran
05/07 7022 55
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43