kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5594 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405495 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683491 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076181 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254130 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927413 103
Samples
일반
코네
09/13 107 0
어흐 난 왜 이런게 너무좋지
일반
쁠뿡
08/31 425 0
최근에 본 작품인데 질문점 내용있음
질문
korean6638
08/31 421 0
자료 업로드 메가로 해도 괜찮나요?
질문
ddalddal2
08/31 565 0
요르티나 다햇는데 먼가 몬가임 ./....................
후기 및 공략
a123123a1231237
08/31 907 0
【하렘(?)/근친】나를 벌칙게임 소재로 삼지마! (삼아!) EX
동인
HoneyWorks
08/31 3334 11
요즘 뭔가 야겜들 퀄리티가 전반적으로 낮아지지 않았나요?
일반
ganzzi
08/31 1414 -3
그 옛날게임인데
질문
사과맛사탕
08/31 963 1
[그냥복구] 우리들의 육변기 선생님 -the GAME- 전 날라리엄마 교사의 변태 생활
복구
ttime490
08/31 3212 8
혹시 텍스트쪽에서 검열없는 ai 있을까요?
질문
ixa194
08/31 1563 1
오치카노 이 미친새기
작업현황
하츠네미쿠
08/31 1838 6
긴긴파크 꼴리긴 뒤지게 꼴리는데
후기 및 공략
ksikio123
08/30 1929 3
여자 작게만든다음 다리랑 뷰지 강제로 벌리는것도 좋네
야짤
superkiller123
08/30 3540 2
로리 거유 소녀에게 최면을 걸어 섹스하는 애니메이션 영상 게임
영상
ロリ巨乳
08/30 7051 16
직번) [James] 비몽사몽
동인
안드레
08/30 8328 7
샀다 보이즈..ㄷ
일반
쩝냡
08/30 5299 7
(직번)[몬무스]당신을 집착하는 니쿠사씨
동인
멕무
08/30 14206 17
스팀에서만 나오는 무인도 서바이벌 게임인데...
일반
haeun0511
08/30 5203 0
이런 것도 ntr 인가요 게임 추천 좀요
질문
양이오
08/30 4517 0
루나와 색욕의 고도 개지리넹
일반
İstiklâl Marşı
08/30 4066 0
이누히메 2.0 내년에 나오려나
일반
coke1566
08/30 4412 0
프린세스 시너지 초반에 비해 뒷심이 아쉽네
후기 및 공략
33709
08/30 4605 4
여친최면떳냐?
일반
sepisid
08/30 4816 3
시간 용자 엄청 재밌네 이거
일반
sinbalnom
08/30 4148 2
복구요청)RJ01368793-느슨한 서바이벌 ~알몸섬의 소녀들~
요청
ㅇㅇ
08/30 4408 0
[AI 번역][Kairaku Amnesia (Kinuo)] 가난한 아내가 집세를 보지로 갚을 때까지 ~28세 I컵 청초 아내, 악취나는 털복숭이 추남 집주인에게 NTR~
동인
crazyerdog
08/30 19582 29
아 게임 생각이 안나
질문
ghdrlfdl
08/30 3704 0
8월 마지막 날 그 긴거 예상중...
일반
ロリ巨乳
08/30 4785 2
망가 하나 찾아주실 수 있나요?
질문
churros
08/30 4128 0
[요청복구] RJ01295900 교배도시에 어서오세요 v1.03
복구
agnis
08/30 13960 21