kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5655 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405554 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683578 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076362 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254225 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927584 103
이종간.보태배)[nasi-pasuya]특이점 수정 실패
동인
신사의품격
08/25 118451 70
고전게임 복사락 safedisc 우회 하기
정보
tentacle master
08/25 26144 9
[자막만]소환된 흑여신 × 백마왕과의 성처리 계약
소리
하츠네미쿠
08/25 46202 36
[미번/번역요청] 별채에서 메이드와 요양생활
미번
amutik
08/25 46174 45
[구매보급/번역요청/후타] 무언가 자라난 하지메 5
동인
고유명사
08/25 99620 10
로리가 성인남자 착정하는거 보고싶네
일반
unknown1357
08/25 8577 0
ai 이런 작화가 많네
야짤
보지냐
08/25 20045 7
추천작 [mosquitone ]마성 메스가키를 참교육하자!
동인
신사의품격
08/25 143398 140
[요청복구] 침식관 ~그 저택, 이미 침식된 관계로~ 1.0
복구
llillililill
08/25 149225 49
마성의그녀와 변태도 올리는 팁
일반
신사의품격
08/25 9784 0
【MTR(?)/노모】엄마와 촌장님 절분에 일어난 사건
동인
HoneyWorks
08/25 136550 121
Shaggy Susu 신작 붕스 에버나이트
영상
ㅇㅇ
08/25 123620 111
직번) [Haguhagu] 일주일간 금딸해서 잔뜩 모아둔 젤리 같은 정액도 부탁하면 먹어주는 상냥한 사샤쨩.
동인
qlalfsla
08/25 121806 84
마사지점 아린편 다나 <<< 어케 뚫음?
일반
18qjaa
08/25 7987 0
앞으론 게임 웬만하면 따로 보관해야겠네..
일반
cxcxcv
08/25 5821 1
ntr충들 질문 있음
질문
sangun1
08/25 7070 0
과학쌤
야짤
쩝냡
08/25 18681 12
동인 하나 찾아줄 수 있음?
질문
ziogmen
08/25 4674 0
크레아 스트러글 이거 미궁도시 어사일럼 서클꺼임?
질문
ㅇㅇ
08/25 7458 0
픽팍이나 키오에서 다운받기 전에 폴더명 복사하는법 혹시 있나여?
질문
nokon069
08/25 5039 0
【근친】어느 대가족의 딸감 사정
동인
HoneyWorks
08/25 128930 120
야에즈 이문기담 하는데
질문
설아
08/25 5542 0
크레아인지 클레어인지 암튼 이거 죽음으로 맛있는데 좀?
일반
앙카보지섹스
08/25 11332 3
【NTR(?)/스와핑(?)/노모】부부침범 ~비밀의 임신시키기 국경선~
동인
HoneyWorks
08/25 131706 106
【노모】조루 극복 클리닉
동인
HoneyWorks
08/25 122282 118
언홀리 메이든 이제 접어야지
일반
mihoo1
08/25 7027 -7
선생님들, ntr 동인지 하나를 찾고 있습니다
질문
easy
08/25 6832 0
【순애】마구 빼달라고 하는 입원성활
동인
HoneyWorks
08/25 143778 228
주문하신 프리코네 게임
일반
할머니
08/24 8255 2
던브 마법사다리 먹는거에서 막혔는데 질문
질문
kokokosent
08/24 6473 0