로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4724 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60614
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60614 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90740
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90740 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205215
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205215 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253206
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253206 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243611
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243611 -14
동인
Poriuretan VR로 캐릭터와의 연애 망상을 즐기는 여성
uzaki
05/06
10569
27
Poriuretan VR로 캐릭터와의 연애 망상을 즐기는 여성
동인
uzaki
05/06 10569 27
동인
Poriuretan 쌍둥이
uzaki
05/06
8266
29
Poriuretan 쌍둥이
동인
uzaki
05/06 8266 29
동인
Poriuretan 과시 에어드롭
uzaki
05/06
9416
37
Poriuretan 과시 에어드롭
동인
uzaki
05/06 9416 37
동인
Poriuretan 딱 걸려버린 노출증 환자
uzaki
05/06
12197
47
Poriuretan 딱 걸려버린 노출증 환자
동인
uzaki
05/06 12197 47
동인
Poriuretan 한해 마무리와 새해 시작
uzaki
05/06
12668
42
Poriuretan 한해 마무리와 새해 시작
동인
uzaki
05/06 12668 42
야짤
AI, 셀레스포니아) 아마네 해변 역헌팅
miso5
05/06
12475
161
AI, 셀레스포니아) 아마네 해변 역헌팅
야짤
miso5
05/06 12475 161
동인
[미번] [warabimochi] (청아) 로리콘 버스터즈 미번 모음
D
05/06
18502
38
[미번] [warabimochi] (청아) 로리콘 버스터즈 미번 모음
동인
D
05/06 18502 38
동인
[Yue] 오빠한테 비밀로 세나짱과 온천 여행편(Ongoing)
ㅇㅇ
05/06
25756
145
[Yue] 오빠한테 비밀로 세나짱과 온천 여행편(Ongoing)
동인
ㅇㅇ
05/06 25756 145
영상
히유키 (명조)
브레머튼
05/06
16211
85
히유키 (명조)
영상
브레머튼
05/06 16211 85
영상
4K 업스케일 복구 (약 500기가)
쿠지락스
05/06
36877
366
4K 업스케일 복구 (약 500기가)
영상
쿠지락스
05/06 36877 366
영상
4월 신작 애니메이션 ( 일부 제외 )
아헤가오
05/06
30294
214
4월 신작 애니메이션 ( 일부 제외 )
영상
아헤가오
05/06 30294 214
번역
[이미지 번역'만'] 비월선행록 1.289 업데이트 대응
argoklarke
05/06
98671
339
[이미지 번역'만'] 비월선행록 1.289 업데이트 대응
번역
argoklarke
05/06 98671 339
동인
직번)[청아][Haguhagu] 사샤쨩 - 데이트 폭력
qlalfsla
05/06
29081
69
직번)[청아][Haguhagu] 사샤쨩 - 데이트 폭력
동인
qlalfsla
05/06 29081 69
복구
[요청복구] Shattered Minds v0.25
immuune
05/06
15804
47
[요청복구] Shattered Minds v0.25
복구
immuune
05/06 15804 47
야짤
후원보급,번역요청/UmVuYm9lcm8= 작가
rarroralo
05/06
9749
20
후원보급,번역요청/UmVuYm9lcm8= 작가
야짤
rarroralo
05/06 9749 20
야짤
ai, 붕스) 완매님은 아기를 만들어 보고 싶어
kjh9304
05/06
14285
82
ai, 붕스) 완매님은 아기를 만들어 보고 싶어
야짤
kjh9304
05/06 14285 82
작업현황
비월선행록 자작한 딸깍이 시켜서 이미지 애셋 일단 다 번역했는데...
argoklarke
05/06
12632
31
비월선행록 자작한 딸깍이 시켜서 이미지 애셋 일단 다 번역했는데...
작업현황
argoklarke
05/06 12632 31
영상
(한글자막) 앱으로 성처리 당번이 되어버린 풍기 위원장 1~3
꽃사슴
05/05
31076
175
(한글자막) 앱으로 성처리 당번이 되어버린 풍기 위원장 1~3
영상
꽃사슴
05/05 31076 175
동인
우등생의 뒷모습은 초빗치 코스플레이어
hatlatal
05/05
29525
126
우등생의 뒷모습은 초빗치 코스플레이어
동인
hatlatal
05/05 29525 126
유틸
Unity Texture Changer v1.0
kumarin
05/05
7476
34
Unity Texture Changer v1.0
유틸
kumarin
05/05 7476 34
번역
아이코미 Aicomi - ai 번역 파일만 fix
cumtree
05/05
30875
88
아이코미 Aicomi - ai 번역 파일만 fix
번역
cumtree
05/05 30875 88
정보
세븐데이즈 낯선여고생과 밀실생활 제작자 신작 개발
kkkkkk0909
05/05
8735
60
세븐데이즈 낯선여고생과 밀실생활 제작자 신작 개발
정보
kkkkkk0909
05/05 8735 60
미번
[미번][번역요청] Magical Girl Konoha
land
05/05
5321
15
[미번][번역요청] Magical Girl Konoha
미번
land
05/05 5321 15
동인
직번]청아)구루구루 컴플렉스
woo15
05/05
9952
16
직번]청아)구루구루 컴플렉스
동인
woo15
05/05 9952 16
동인
기우제
hatlatal
05/05
17656
86
기우제
동인
hatlatal
05/05 17656 86
영상
이블린, 달리아 - Chill like that
Poznan
05/05
18859
87
이블린, 달리아 - Chill like that
영상
Poznan
05/05 18859 87
동인
미번)갈색 큼직큼직 보이시! 나기사짱 3 - 임신중인 나기사짱을 대신해 강모의 나기사 마마와 성치리 엣찌편-
kjalar
05/05
19707
28
미번)갈색 큼직큼직 보이시! 나기사짱 3 - 임신중인 나기사짱을 대신해 강모의 나기사 마마와 성치리 엣찌편-
동인
kjalar
05/05 19707 28
동인
위험한 이웃♥
hatlatal
05/05
25121
96
위험한 이웃♥
동인
hatlatal
05/05 25121 96
야짤
움짤 보고 뒷부분 궁금해서 후원했는데
비밀세상
05/05
19363
45
움짤 보고 뒷부분 궁금해서 후원했는데
야짤
비밀세상
05/05 19363 45
야짤
쓰바 Goodbye Eternity 애네 일러는 진짜 ㅈㄴ꼴리게뽑긴하네 ㄹㅇ
kkkkkk0909
05/05
8565
23
쓰바 Goodbye Eternity 애네 일러는 진짜 ㅈㄴ꼴리게뽑긴하네 ㄹㅇ
야짤
kkkkkk0909
05/05 8565 23
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43