kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5601 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405500 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683495 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076204 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254139 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927423 103
초고전액숀게임 Queen's AXE
미번
zzarcrr
08/23 43983 41
혼란을 틈타 야애니 찾기 도움
질문
demonstrate
08/23 6471 1
YnVidWt1aW4 hmv모음
영상
karatro
08/23 117334 60
애초에 뭐 그리 열심히 받을 필요가 있나
일반
할머니
08/23 4546 -4
나는 식당시절에 setup 당해본적 있긴함
일반
빨간색마키아토
08/23 6471 -1
니들이 받은 게임에서 바이러스가 터진게 아니야
일반
하츠네미쿠
08/23 5783 1
Setup.exe 다운받아본 것 같은데...
일반
dd
08/23 4266 0
바이러스는 이미 터졌고 이제 할 일은 하나 뿐임
일반
rengester
08/23 5793 3
여주물 조건 까다로운데 혹시 추천가능할까
질문
댕댕이커여어
08/23 5928 0
Theobro머시기 이사람 활동을안하나
일반
qncnqhR
08/23 4058 0
"길"
일반
루파조아
08/23 4799 2
충간)동방)봉인된 상태에서 파리한테 당하는 장면
영상
이상한 사람
08/23 122026 65
나도 바이러스니 해킹이니 다양하게 당해봄
일반
mybest
08/23 6735 0
바이러스 사건 하나 터졌구나
일반
rainpotatachp
08/23 5734 0
게임 제목 아는 사람 있으려나?
질문
ssunkist
08/23 4134 0
바이러스 터졌다길래 무슨 겜파일에서 터졌나했는데
일반
twfsdffq
08/23 7329 1
멀웨어 관련은 조심해서 나쁠 거 없긴 해.
일반
Lenti_Plasmid
08/23 6832 5
맥 게이밍의 발전을 두려워 하는가
일반
djwiwiwj
08/23 4991 0
Summertimesaga 복구 부탁드립니다
요청
eonjunsid2
08/23 6385 1
난 해킹 당한 경험 딱 한번 있었는데 존나 골때렸던듯
일반
resident
08/23 5729 0
음란 간호사 << 노가다 ㅅㅂ
일반
nikefly
08/23 4905 0
와 조상님이 도운거같다
일반
fkshdj0909
08/23 6381 0
록시 업데이트 함 3.02
정보
mybest
08/23 40955 34
[AI번역]フェラマスク夫人
동인
doumaro
08/23 105713 51
유니티 게임에서 모자이크를 없애보자! ft. 스스로 이타즈라 광악 노모 만들기
정보
Nangaro
08/22 30127 19
(후타, 보추, 수?간 포함) QW1wbGVjdGVk 모음집 수정본
영상
asased
08/22 119267 58
마왕 미네리아와 이름 없는 마을의 에로 트랩 던전 후기
후기 및 공략
할머니
08/22 17937 1
영상 자막파일 같은건 어떻게 올려야하나요?
질문
konata1
08/22 5944 0
근데 어차피 바이러스는
일반
쿠지락스
08/22 7398 3
분명 내가 아는 작품인데 아는 장면이 아님
질문
horuragi
08/22 6972 0