kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5620 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405512 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683539 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076279 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254179 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927498 103
[RG9yb3p6/용량줄임]5~8월모음+자막1
영상
뒤치기는 뒤에서
08/23 157306 120
[복구요청] 셀로버스 판타지 요청합니다
요청
33322
08/23 6993 0
연도국룰(ex.2026ㄱㄹ) 관련 질문도 차단임?
질문
crtrp
08/23 6530 -11
(요청 없는 버전업) RJ01616172 자궁 수업 NTR
번역
craven
08/23 239439 130
제작자 씨엔 문의 결과
일반
changman89
08/23 6292 6
셀레녹시아 체험판 번역은 내려간 건가?
질문
asdkkq
08/23 5964 0
토미에는 결혼이 하고 싶어 '검열'뜨는건 그냥 씬을 안만든거임??
질문
망고빙수
08/23 5499 0
[미번,번역요청] 고전 게임 입니당
미번
tentacle master
08/23 45057 35
[RJ01394190] 슈가 라이프 ~코인 소녀와 달콤한 나날~
복구
개구리
08/23 170973 58
오늘 하루종일 '환생 주점'만 했네
후기 및 공략
스삐키뚜땨
08/23 26283 17
애니 하나만 찾아주실분(아시는 분) 부탁드립니다.
질문
seryoung11
08/23 4417 0
인간적으로 입추 지났으면 시원해져야하는거 아님?
일반
apee
08/23 4801 0
윈도우 11은 번역 프로그램 뭐씀?
질문
akskdkfk12
08/23 5312 0
Ark Manager 미디어 기능을 전체적으로 손보고 있습니다. (불편한점 등 의견 환영)
작업현황
rigra
08/23 14043 2
【ai번역】 순진하고 순수한 쿨다운녀인 그녀가 첫경험 후 점점 더 과도한 스킨십을 해온다.
소리
나도끼워야지
08/23 50157 61
[복구요청] RJ01577275 人妻上司の分からせ方 유부녀 상사 참교육
요청
quasistellarobject
08/23 7734 1
(ai)(후타)생각없이 만든 아리아 수나(줄여서 아리수)
야짤
gongkong4
08/23 17870 6
[복구요청]RJ01671421 주인님 최애인 내가 네토라레 당하기까지
요청
gmrzkfn
08/23 6724 0
하드가 뒤져서 그 안에 있던 대마인 뷰어하고 야겜 뷰어가 날아갔다
일반
슬래시
08/23 7276 2
방과후 마사지 간단 후기
후기 및 공략
lkjlkjlk
08/23 39727 32
주인공이 야스절대 못하는 전개인데 윾쾌한 웹소 소재 하나떠오름
일반
ㅇㅇ
08/23 6317 0
요청복구) Summer time Saga-0-20-16-pc
복구
햄댕이
08/23 167564 68
[자막번역만]다우너 ○리 마왕의 감도 3000배 인파라오호 목소리! LV 차 95776? 최○강○으로 완봉이지만 뭐w 즛코바코 절정해라 육변기♪…후우. 너를 사랑해
소리
하츠네미쿠
08/23 51889 49
[복구요청] 언홀리 메이든 폭탄 증가패치
요청
마이도아리
08/23 7520 0
윈도우 디펜더 얘 좀 웃기네 ㅋㅋ
일반
snoram
08/23 7120 1
들끓던 무렵에 작가 근황 ㅋㅋㅋ
일반
gloli
08/23 8410 2
1주일만 더 버티면 8월 안녕이다
일반
돔마
08/23 5285 0
에테리얼) 젠레스 세계관에선 이것도 연애입니다
영상
godknows
08/23 153592 144
마성의 그녀 이벤트 당첨됐다. 그런의미로 디엘사이트 1000포 뿌림
일반
yongrong
08/23 7688 6
[Hanpatsu Zokusei] 수수하고 오타쿠 같은 여동생 마유 쨩 1화~4화전반부
동인
티모
08/23 163033 221