로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4656 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90651
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90651 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205051
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205051 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252857
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252857 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243490
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243490 -14
일반
솜서운 이야기) 코네는 오픈한지 1주년이 지났다
1uF
05/21
1598
1
솜서운 이야기) 코네는 오픈한지 1주년이 지났다
일반
1uF
05/21 1598 1
영상
충간) 출처불명 MMD 2개
nokchabap
05/21
16232
40
충간) 출처불명 MMD 2개
영상
nokchabap
05/21 16232 40
일반
동음 분류 완벽하게 끝났음
blendersine
05/21
1619
1
동음 분류 완벽하게 끝났음
일반
blendersine
05/21 1619 1
유틸
[노모패치] 갓 딴 임신시키기 좋은 날
나나바
05/21
9807
39
[노모패치] 갓 딴 임신시키기 좋은 날
유틸
나나바
05/21 9807 39
질문
형님들 세븐데이즈 관련 질문하나만요 제발
solarium
05/21
4350
-2
형님들 세븐데이즈 관련 질문하나만요 제발
질문
solarium
05/21 4350 -2
일반
신케나 신작게임은 사실 ...
lovesccubus
05/21
2115
0
신케나 신작게임은 사실 ...
일반
lovesccubus
05/21 2115 0
질문
코네 글 쓸 때 댓글 막는 기능이 있음?
wfwgsvsb
05/21
1720
0
코네 글 쓸 때 댓글 막는 기능이 있음?
질문
wfwgsvsb
05/21 1720 0
질문
의술사 리코
bmhaz
05/21
2389
0
의술사 리코
질문
bmhaz
05/21 2389 0
질문
혹시 비월선행록 조이플 실행안됨?
ghgdtl
05/21
5422
0
혹시 비월선행록 조이플 실행안됨?
질문
ghgdtl
05/21 5422 0
질문
의술사 특기 기도 이거 어디서 얻음??
Noel
05/21
2078
0
의술사 특기 기도 이거 어디서 얻음??
질문
Noel
05/21 2078 0
질문
던브) 경비대장이나 다른 여인숙의 손님이랑은 떡 못 침?
nagisa8262
05/21
5009
0
던브) 경비대장이나 다른 여인숙의 손님이랑은 떡 못 침?
질문
nagisa8262
05/21 5009 0
영상
바레트 & 티파 (파판)
브레머튼
05/21
17369
81
바레트 & 티파 (파판)
영상
브레머튼
05/21 17369 81
질문
세븐데이즈 원래 초반에 저장 안됨??
solarium
05/21
2297
0
세븐데이즈 원래 초반에 저장 안됨??
질문
solarium
05/21 2297 0
영상
질베르타 (엔드필드)
브레머튼
05/21
14757
85
질베르타 (엔드필드)
영상
브레머튼
05/21 14757 85
영상
로산나 (니케)
브레머튼
05/21
17173
98
로산나 (니케)
영상
브레머튼
05/21 17173 98
일반
소붕이들 순애좋아해?
아이기스맘
05/21
3180
-5
소붕이들 순애좋아해?
일반
아이기스맘
05/21 3180 -5
일반
언홀메 모드 기대했는데 첫인상이 안좋아
ntr-masterpeace
05/21
2462
4
언홀메 모드 기대했는데 첫인상이 안좋아
일반
ntr-masterpeace
05/21 2462 4
요청
[복구요청] RJ01104619 이상의 아빠
124515dd
05/21
4175
0
[복구요청] RJ01104619 이상의 아빠
요청
124515dd
05/21 4175 0
질문
쯔꾸르 적 hp바 추가 할 수 있는 능력자 있습니까??
i1li1l11li1li
05/21
3059
2
쯔꾸르 적 hp바 추가 할 수 있는 능력자 있습니까??
질문
i1li1l11li1li
05/21 3059 2
질문
잭오나 질문 좀 해도 됨?
8번손님
05/21
2417
0
잭오나 질문 좀 해도 됨?
질문
8번손님
05/21 2417 0
영상
[5YK+5LiW6YGK5bq1] 진 만큼 몸으로 갚을게요♡~여사장 AV 데뷔 전편자막
pomihi
05/21
27469
88
[5YK+5LiW6YGK5bq1] 진 만큼 몸으로 갚을게요♡~여사장 AV 데뷔 전편자막
영상
pomihi
05/21 27469 88
정보
카린형무소 일기
sorbe123
05/21
3515
8
카린형무소 일기
정보
sorbe123
05/21 3515 8
정보
척영 근황에 대해 또 알아보자
zerocoke00
05/21
10670
27
척영 근황에 대해 또 알아보자
정보
zerocoke00
05/21 10670 27
동인
직번) [choukutetsushitsugan] 魔마마 사냥 -전직 마법소녀 엄마의 타락 배란 교미-
qlalfsla
05/21
35710
236
직번) [choukutetsushitsugan] 魔마마 사냥 -전직 마법소녀 엄마의 타락 배란 교미-
동인
qlalfsla
05/21 35710 236
영상
[5/16] 스파키 (스타레일)
브레머튼
05/21
17006
89
[5/16] 스파키 (스타레일)
영상
브레머튼
05/21 17006 89
세이브
비월선행록 지뢰녀
subbb
05/21
9254
9
비월선행록 지뢰녀
세이브
subbb
05/21 9254 9
요청
[복구요청] [구매보급][NTR] Pigtarotaro 최신작까지 모음(Patreon 노모버전)
갱생
05/21
2691
5
[복구요청] [구매보급][NTR] Pigtarotaro 최신작까지 모음(Patreon 노모버전)
요청
갱생
05/21 2691 5
야짤
ai, 명조) 방순이에게 청혼하고 잔뜩 아기 만들기 섹스했다
kjh9304
05/21
10415
105
ai, 명조) 방순이에게 청혼하고 잔뜩 아기 만들기 섹스했다
야짤
kjh9304
05/21 10415 105
소리
[구매보급]【한국어 자막판】 【4시간 × 더블 여검사 × 더블 하렘】 ~오네쇼타 길드~ 신참 모험가인 나와 엄청 야한 폭유 여검사 누님×2 와 아이 만들기 임신 젖가슴 퀘스트♪(RJ01457321)
Mecklen
05/21
17190
338
[구매보급]【한국어 자막판】 【4시간 × 더블 여검사 × 더블 하렘】 ~오네쇼타 길드~ 신참 모험가인 나와 엄청 야한 폭유 여검사 누님×2 와 아이 만들기 임신 젖가슴 퀘스트♪(RJ01457321)
소리
Mecklen
05/21 17190 338
야짤
ai) 사이좋은 부녀
메르헨소행성
05/21
10805
27
ai) 사이좋은 부녀
야짤
메르헨소행성
05/21 10805 27
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43