kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5636 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405535 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683564 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076321 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254207 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927561 103
[버, 농, 농빵, 보테, 뷰털겨털] TW9rdXNoZWVw 모음집 15GB
영상
우유
08/29 77195 52
포크 스튜디오 작품들 나중에 AFTER 업데이트하는게 있던가?
질문
soft1557
08/29 5346 1
요즘 키오스크 서버상태 별로임?
질문
샤워하다돌면워싱턴
08/29 4912 1
淺上フジノ) SAO PART 1 KR 복구요청드립니다
요청
뮤뮤므므
08/29 5726 0
코스튬 변경 기능 있으면
일반
돔마
08/29 4885 0
【하렘/순애/노모】고향의 거대한 갸루
동인
HoneyWorks
08/29 88467 107
고양이와 던전은 아무리 생각해도 뭔가 뭉터기로 잘려나간게 맞다
일반
garnblueming
08/29 6884 2
[복구요청] RJ01169679 퇴마사 레이나 ～수수께끼의 요마조직을 조사하라!~
요청
sgsd56
08/29 6195 0
상극의 알테르 이거 저장 시스템을 왜 이따구로 만든 거지
일반
aa-12
08/29 4648 0
[복구요청] 비월행신록
요청
rkd1213
08/29 4814 1
약스포) 알미오시온의 의술사 후기
후기 및 공략
pipapip
08/29 11138 1
업로더가 자주 받는 단골 댓글 4개
일반
미스터장
08/29 18378 123
잊을때까지 묵혀놨다가 한번씩 보는 작가
야짤
ㅇㅇ
08/29 17029 7
01.1 rev 메야아 의음야
복구
너무해
08/29 65576 32
게임 제작중인데 제목을 뭘로하지. 골든픽셀&지리는픽셀 뭘로하지
질문
deng
08/29 4968 1
고양이와던전 클리어 후기
후기 및 공략
nickname123123
08/29 10655 4
RJ287794 BegieAde ～嘘と報復のリリック～ 후기
후기 및 공략
min-0101
08/29 10451 6
구매보급, 손번) RJ01683915 거유에 건방진 후배에게 아헤가오 암캐 신음소리로 착정당한다 외 10편
동인
herro
08/29 84818 60
아내가 성인 사이트에 제작자 미친 놈인가
일반
sinbalnom
08/29 6431 7
[구매보급] RJ01593806 샬레의 특별 당번 with 이타가키 카노에
미번
쁠뿡
08/29 32801 21
ai (애니는 본적 없는데
야짤
JK
08/29 22213 18
HOME 이거 이미지 번역 하는 사람 있음?
질문
몽정
08/29 6199 4
파일 정리 하긴 해야하는데
일반
라비쉬
08/29 3839 0
취향에 딱 맞는 명작을 찾았을 때의 행복함
일반
뺏기는게좋은걸
08/29 4627 4
[요청복구][RJ01533802][한국어 자막판] 안경 미인 선생님의 포상 다이어리 2 ~은밀한 하룻밤 과외~
영상
sang1212
08/29 76546 77
ai( 온천 여관에서 상사에게 수면제를 먹고 계속 범해진 유부녀 OL 면간
영상
JK
08/29 69791 44
[세이브 요청] 시스터즈 컴퍼스 RJ01363269 세이브 파일 부탁드립니다
요청
insam2323
08/29 6142 0
[체험판정보]게임 9개
정보
잉여로운인간의생활
08/29 26000 41
ai( 거유 메이드 그녀 3명이 주인에게 실컷 당하는 극비 영상
영상
JK
08/29 61800 37
미리미리 하지 않는 게임을 정리해줘야......
일반
인생망함
08/29 4524 0