kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5628 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405525 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683552 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076303 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254193 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927537 103
렌파이 The Only Doe 근친 강간 협박 임신 유일한 암사슴
후기 및 공략
hrer422
08/24 27858 -20
[복구요청] RJ277631 Succubus Affection
요청
akandmdjd9731
08/24 6085 1
[구매보급]【반의 1군 여자와 약 3시간 러브러브 아기만들기♡】 헌팅남을 차갑게 대하는 철벽가드 갸루 JK가, 당신에게만은 왠지 모르게 푹 빠진♡ 사춘기의 성욕을 가득 채워주는 이야기
소리
이름뭐하지
08/24 56101 88
[직번] 출장! 미파이 서비스
동인
Yuzu
08/24 104800 36
Kazuhiro-여초마을 음습2
동인
k8625
08/24 111722 63
아이우에오카 겨울 코미케 최면성지도 쿠라시키 모녀덮밥예정
일반
kjalar
08/24 7353 8
방과후 마사지 엔딩 후기.
후기 및 공략
카리나
08/24 17448 5
크레아스트러글 이거는 원래 번역 안되는거지?
질문
mozumozu
08/24 6595 0
[AI번역][にあ][난 서큐버스가 아니야]
동인
왕젖보뚱
08/24 116350 128
인코딩은 다들 미리미리 해..
일반
쿠지락스
08/24 4573 2
투리 이거 아무리 얼엑이라지만
일반
리위아
08/24 3428 0
변태 토끼 두건 스토리 바꼈네
일반
sinbokchi
08/24 4197 0
잭오나인테일 msvcp140.dll 에러 해결
일반
allforyou
08/24 4354 2
케이 이년은 매일같이 섹스하는 동인지가 올라오네
일반
제로의 사역마
08/24 4036 0
[수정1] 자체한글, 자체번역 야겜 9개
번역
미스터장
08/24 303809 329
다운로드가 연속으로 안됩니다
질문
vkfldy
08/24 4156 -4
[Sucota] 쿵후녀가 끈적하게 발정나서 쑤컹쑤컹 박는 이야기 (블루 아카이브)
동인
ㅇㅇ
08/24 111373 111
약스포?)추천받으려고 쓰는 뉴비의 야겜 리뷰글
후기 및 공략
음셋스셋스
08/24 29454 1
Qwen 3.8 27b 번역 후기
정보
iwwdi
08/24 19926 6
변태 토끼 두건 버그있네
일반
sinbokchi
08/24 5178 1
변태 토끼 두건 세이브 호환 안되네
일반
sinbokchi
08/24 5027 0
변태토끼두건 세이브 호환 안됨?
질문
sinbokchi
08/24 5473 0
[3차 as, 요청번역, AI, 미검수]변태 토끼 두건 최신버전 Rabbit Hood [2026-08-12]
번역
iwwdi
08/24 223590 60
[1차 as, 미검수, AI, 요청 번역][RJ154362]Rain's Rave ~촉수 속에서 번민하는 소녀~
번역
iwwdi
08/24 203737 60
전원 네토라레2 이거 초중반 노가다 좀 짜증나네 진짜
일반
bigboobs
08/24 7879 0
[복구요청] RJ326502 증기도시의 탐정소녀
요청
dp12401
08/24 5524 1
오호고에 같은 천박한 표정 꼴리게 나오는 야겜 추천좀
질문
wodbhjek22
08/24 7111 0
[번역자막만]여신조심 《이중(듀얼)》 ~ 힘의 여신에게 정조 개변의 마법을 걸어 절대 복종 메스 자각! ~
소리
하츠네미쿠
08/24 50107 55
post nut calamity 디오라마 14/15
야짤
ENE
08/24 17071 2
[AI번역][LonkLink][잘빠는 톰보이 친구]
동인
왕젖보뚱
08/24 132363 184