kone
Sign in
소미소프트

소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
4701 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
Sign in to comment
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
Hot posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60607 22
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90687 134
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205107 -25
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252905 -41
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243544 -14
[구매보급]【전편 느긋한 오호】 쿨 오호 목소리 진심 오나위원과 참교육 진심 절정
소리
이름뭐하지
05/13 13117 74
[ai번역 - 노모] 세이카 여학원 공인 자지 아저씨 1~7
동인
mybest
05/13 30258 128
기번) Orange Piece 모음집 총 10개
번역
playthesean
05/13 33916 83
N.T.Resort에 오신 것을 환영합니다 신정보
정보
ㅇㅇ
05/13 14570 50
[구매보급] 바이러스님의 전신 해킹 쾌락 지배～ 속은 컴퓨터군은 바이러스 투성이♪～
소리
summer4552
05/13 12790 42
Ie 3갸루 단편
동인
SK
05/13 38885 276
【한국어 자막판】 섹스프렌드 겸임 친구 시리즈(2,3,4편)
소리
뒷담난쟁이로야족
05/13 18620 97
ntr레슨 후속작) ntr축구 체험판 공개 및 출시 d30
정보
머겅머겅
05/13 13831 20
[번역] 토끼 구멍
야짤
마법우엉
05/13 12310 82
[번역](청아)오빠는 퇴마인이 되어도 끝났다
동인
마법우엉
05/13 31599 106
[구매보급] [버전업] RJ01526327 어서오세요! 어린이 만들기 온천 마을 1.01
미번
gkqisq
05/13 18403 45
[기번/검수][iapoc]-유두 자극 레즈 에스테에 어서 오세요
동인
serdic
05/13 32600 145
[구매보급]【달콤한 오호】 성녀가 노예가 되어서 사봤다~ 조르게 하고 오호 목소리 섹스~
소리
이름뭐하지
05/13 22478 58
kajiking - 고도 카즈사 음문이 새겨지다 2.5
동인
qew123
05/13 24216 99
[버전업알림,손번역] 세뇌 어플 2 ver.1.2.1 (26.05.13)
번역
미스터장
05/13 47075 315
직번) [choukutetsushitsugan] 암퇘지 낙인
동인
qlalfsla
05/13 43040 278
AI, 셀레스포니아) 연구소의 인증 시스템
야짤
miso5
05/13 18198 96
[복구] 카프카 영상 복구
영상
브레머튼
05/13 17429 63
(오호고에/음어)雲八はち성우 작품 4개
소리
딸딸이의황태자
05/13 13926 66
[ai번역-노모 단행본] 가출 갸루랑 질내사정 잔뜩 해서 동거 생활 시작했습니다.
동인
mybest
05/13 25093 66
[알림] 비월선행록 이미지 번역 1.289 대응
번역
argoklarke
05/13 39048 116
[AI번역][RJ220780] 야리친 가정교사 네토리 보고 (패치파일만)
번역
호빵할배
05/13 38172 109
나오기를 ㅈㄴ 기대하는 작품
정보
존경합니다행님덜
05/13 13064 28
[RJ01624439] 뭔가 이야기가 있을 때는 "절대 혀를 내밀어야 해"라며, 포근한 메이드와 순수한 사랑을 나누는 달콤한 ‘키스 하메이드’ 생활
소리
돈이조아
05/13 12749 92
미번) 묘쌤은 이렇게 박혔다 3
동인
kjalar
05/13 21683 39
[재업/AI번역/riboshika][NTR] 자궁이 관통될 때까지♥︎
동인
gaymaster
05/13 26131 58
[밀프/쇼타/서양](보루토) 왕자지 보루토 : 사쿠라의 병원
영상
Ghost
05/13 39606 286
Church of Desires 손번역이 완료되었습니다.(후타, 음마화)[RJ01617031]
번역
sesv3030
05/13 56235 253
(구매보급,버전업,공식번역)세뇌앱2 ver1.2.1
번역
Gope
05/13 28552 210
[ai번역=오오토리 마히로] 나의 이세계 하렘 3
동인
mybest
05/13 21539 43