kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5616 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405503 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683518 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076245 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254164 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927470 103
그 대충 독일어 제목인 게임 뭐였지
질문
gosee
08/23 6022 0
무니공방은 신작이 나와도 메인 히로인 두명은 그대로넹
일반
신사의품격
08/23 6956 0
남자 동료들에게 로얄보지 보여주는 왕녀님
창작
unknown1357
08/23 12254 5
왼쪽이 좋냐 오른쪽이 좋냐
야짤
플로로
08/23 28420 25
Studio音羽의 신작현황 지하철장소 추가
정보
doedk39d
08/23 21728 3
요즘 야겜 왤케 힘드냐
일반
afsdjkajld
08/23 7140 0
최면물)[shironekoya] 최면 아이돌 학원 노아 편 +네루 편
동인
신사의품격
08/23 119421 55
크레아는 발도술트리가 개꿀잼이던데
일반
tommy5801
08/23 7154 0
[Yumeki banana][구매보급/미번]당신이 원한다면 7 ~배덕의 기혼자 매칭앱 & 야외노출 & 초음란 카섹스 편~
동인
프로베스트캣
08/23 111932 36
[블아/미번/번역요청/히토미펌] [choujirooo] むちむちセミナー〜即ハメ交尾コキ漬けルーティン〜
동인
oneperson
08/23 108541 48
모니터 사다가 생각난건데
일반
doedk39d
08/23 7183 0
갑자기 사이트 폭파시킬려는 암살자 머임?
일반
cookieasy
08/23 8126 0
크레아)뭔 윈드커터여 시발 ㅋㅋ
일반
앙피옹
08/23 9659 1
[구매보급]『마조암컷보지하렘♡~폭유 소꿉친편~』
소리
이름뭐하지
08/23 57836 74
131. AI, 스압, 블아) 아이돌 마리 스트립 콘서트 + 팬미팅 이벤트
야짤
miso5
08/23 59397 107
[미검수, AI, 요청 번역][RJ154362]Rain's Rave ~촉수 속에서 번민하는 소녀~
번역
iwwdi
08/23 234985 82
마성의그녀와 렉 해결법
일반
신사의품격
08/23 7586 0
키는 작은데 골반이 넓은 히로인이 꼴린다
일반
인생망함
08/23 6428 1
미궁도시 어사일럼 세이브 파일 부탁드려도 될까요?
요청
thrrr
08/23 7096 0
[복구 요청] (한글자막) 시건방진 소악마들에게 어리광 받아서 패배하는 나
요청
계정01
08/23 7028 0
[요청복구]【완전 여성 우위/삽입 없음】올바른 "암컷"의 헐떡이는 방법 [젖꼭지 수음/메스이키]
소리
아줌마좋아
08/23 48795 39
AI)블아)코코나교관의 아기만들기 실습
야짤
koreno1
08/23 18227 9
지피티랑 머리빠지게 씨름해서 나온 wail? 대사 추출기
유틸
마이크리워드
08/23 17139 3
[복구 요청] (한글자막) 최악으로 징그러운 아저씨에게 임신당해버리는 누나
요청
계정01
08/23 7422 1
척영의 늑대 화면 조절 어케함
질문
mini0130
08/23 4748 0
[복구 요청] (한글자막) 아저씨 노치원
요청
계정01
08/23 5779 3
[복구 요청] (한글자막) 클x토리스 조교일지~ 반의 우등생은 왕클x 여고생
요청
계정01
08/23 5598 0
감옥용사 처녀로 깨는 방법은 없음?
질문
djena
08/23 4331 0
서큐버스 전기는 조이플레이로 안되나요?
질문
reeee12
08/23 4742 -2
[복구요청][RJ01412576]언홀리 메이든_v1.0.9_Kr.apk 복구 요청합니다
요청
chii-is-cat
08/23 7966 2