kone
Sign in
소미소프트

소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
4709 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
Sign in to comment
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
Hot posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60609 22
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90707 134
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205142 -25
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252938 -41
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243571 -14
ai, 농농절 특선) 레니에게 야한 속옷을 입히고 섹스 했다
야짤
kjh9304
05/05 18195 119
iwao)セセリア
동인
qew123
05/05 10409 35
파이즈리 위원장 머시기 1달
영상
EPanDS
05/05 29143 195
(임보출)아이 만들기 온천 발매일 결정(최최최종)
정보
카라코람
05/05 8035 23
[구매보급] 【한국어 자막판】무자각 마조가 서큐버스에게 납치당해 침으로 농락당하는 자위 서포트
소리
rocoa
05/05 11762 84
AI) 어린이날 기념 프린세스 메이커2
야짤
miso5
05/05 14894 56
[AI] 제자랑 섹스하던 걸 들켜서 금태양한테 질싸 임신 당하는 수영부 선생님
창작
스이세이
05/05 13099 52
[알림] 모두의 유방육성 아카데미 3차수정 재업
번역
argoklarke
05/04 31807 147
[미번] 리호 NTR ~남편의 명령으로 직장 동료에게 범해지다~
동인
미식이네
05/04 7885 15
아리아드네 MZ 이식 92일 차 (스탠딩 그림 개선 및 추가)
창작
Code_Max
05/04 8420 48
[구매보급][요청복구]【한국어 자막판】사정 참기 게임과 문질문질 금지 게임 계속 귀를 괴롭힘당하는 게임형 자위 서포트
소리
vhskorea
05/04 23573 114
[어린이날 기념 복구][요청 복구]【한국어 자막판】나를 익애하는 갸루 마마가 [순애] 네토라세 플레이에 어울려주는 음성♡
소리
protoy
05/04 16181 85
[번역] [Space Crayon (Hisany) 청아포함/NTR/아저씨/추남] 샬레네토리최면 (블루아카이브)
동인
kukbap
05/04 22343 86
[미번보급] 聖女リナリアの落葉～寝取淫紋解呪譚～
미번
karoru
05/04 11696 50
90일) 1. RJ193419 SEQUEL blight 손번개조. 개선 26.05.05.7z
복구
ㅇㅇ
05/04 21078 95
MZ 암호화 engine.bin 추가 분석 내용
정보
moomin
05/04 7093 30
(이미지 번역) [RJ01369348] 특공위원회 오우카 RPG-ZERO 이미지 번역
번역
joyed47106
05/04 36022 212
[구매보급] [자막] 【짐승 소리 조교】 로○ 마법 소녀의 7일간의 조교 일기
소리
puella
05/04 17092 91
[구매보급]멋을 막 배운 메스가키가 목구멍 깊은 곳에서 짜낸 끊임없는 오호소리~
소리
이름뭐하지
05/04 9447 46
(한글자막) 모녀덮밥 밀크 카페에 오신 것을 환영합니다
영상
꽃사슴
05/04 23225 153
90일) RJ424502 건방진 JK를 치트노트로 참교육.7z
복구
ㅇㅇ
05/04 29387 99
직번/후타) [Messy] 후타나리 누나 정액 목욕 출산 섹스
동인
스타더스트
05/04 23279 72
[AI 번역, 일부 검수, TS물, 여체화] 백룡의 무녀와 신이 깃든 재앙의 섬 RJ01586474
번역
ask
05/04 50113 216
갈색 폭유 비서의 극음란 자지 아양 성처리～엘리트 사장 비서의 숨겨진 얼굴～
소리
테탑시
05/04 11110 75
농농절 2일차 기념 마조 오나사포복구
소리
summer4552
05/04 17923 55
육변기 오나홀 조교일지～진지한 척 하면서 자위 방송하는 에로 교사 & 철벽 마조 JK～【KU100】
소리
테탑시
05/04 9244 56
스압주의) [toraisi666] 홀록사미도리 마법소녀 최면 시리즈 일러스트 모음
동인
ㅁㄴㅇㄹ
05/04 19348 65
육덕 사촌누나와 임신놀이～임신하고 싶어하는 늦둥이 시골 암캐×2의 정액 아양 배덕 생역레이프～【KU100】
소리
테탑시
05/04 9868 74
【하메촬영 영상 추가 찬스?!】자지 담당으로 임명합니다! 【5시간 반】【입학 축하 세트】
소리
테탑시
05/04 12603 101
[보이스 코믹]0505 선물
소리
ghkdw
05/04 16416 82