kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5653 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405554 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683578 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076362 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254225 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927584 103
ai) 뱀의 혀가 긴 이유 30p
야짤
오랜친구
08/25 39798 51
PC 겜을 APK 로 포팅한거 여기 다 올려도 될까?
질문
codewing
08/25 18534 30
[번역] 쵸코 아가씨의 훈육법
동인
마법우엉
08/25 104607 62
[번역] 폭거 폭행 백합 폭력
동인
마법우엉
08/25 106747 93
던전 앤 브라이드 케이 선인루트 질문...
질문
liskie2
08/25 6089 0
[번역] 미쿠와 네루의 야한 놀이
야짤
마법우엉
08/25 35571 41
[언어불필요/미번] Hachiman NTR escape
미번
천민
08/25 63798 54
비타퀘2 노모 작업중인데 자궁구에 대해서 질문.
피드백
sinbiru
08/25 7871 8
[자막만][페라 특화]거유 갸루의 굉음펠라교미 ~목 안쪽까지 들이마시는 듯한 페라로 임신시키는 구강 레●프♪~AI번역
소리
하츠네미쿠
08/25 45527 42
스포) 솔직히 45번 전차 아쉬운거 딱 한가지 있음...
일반
앙카보지섹스
08/25 7213 3
[AI번역/검수] RJ01700161 사토리 요괴의 스트레스 해소법 ver1.00
번역
poi1921
08/25 274927 103
일주일 실비김치 맛본 후기
후기 및 공략
djwiwiwj
08/25 17214 9
카린제작자들 dlc만드느라 본편업뎃없으니 기분이 이상함
일반
katress
08/25 6367 2
celsector 이거 뭔가 좀 아쉬운데
후기 및 공략
alphabet88
08/25 13025 3
AI) 젠레스 로라 로컬 야짤
야짤
튜스
08/25 19995 11
[ VAM ] 디몬 비슷하게 만들어본 무언가
창작
s99a99
08/25 10599 7
TE 풋잡 역간 서클 최신 진척
정보
인생망함
08/25 21793 3
[미번] 真.美少女のくせになまいきだ / 진.미소녀 주제에 건방지다
미번
천민
08/25 54813 38
뭐.. 뭔가 꼴리는 일이 일어날 것만 같아!
일반
gigachardd
08/25 16128 23
카린의 형무소 질문이 있습니다.
질문
mako777
08/25 7339 -1
작가 S290YXJvdTM5OTA= 니콜 - Hype segs (원신) 복구요청입니다.
요청
rice4137
08/25 6970 0
최면물.스압.보태배) [gekidan 375]나를 바보취급하는 건방진 갸루를 최면 어플로 참교육해줬다
동인
신사의품격
08/25 108544 44
[복구요청] Slave's Sword 1+2 노모 합본 (1: v1.15 / 2: v1.10)
요청
선인
08/25 7994 2
[내가삼+대본번역]죽을 만큼 자존심이 강한 츠요츠요인척하는 폭유 쿨 엘프 베인쨩. 외로움을 잘 타고 너무 야해서, 여러 가지를 알게 되고 바로 타락한다. 』
소리
이름뭐하지
08/25 49141 69
ai) J케이
야짤
JK
08/25 22699 17
ntr 전설 RJ295125 커마질문
질문
Bin
08/25 6374 1
데몬즈 루츠 하고 있는데 개재밌네
일반
음셋스셋스
08/25 4509 1
오늘도 9시쯤 야겜할꺼니깐
일반
신사의품격
08/25 4481 0
[후원보급]bmFqYXI 히오리3 단면버전
영상
pangya
08/25 129574 156
며칠동안 찾고있는데 아직도 못 찾은 영상 찾아주실분
질문
alqlpp
08/25 4430 1