kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5619 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405510 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683536 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076271 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254175 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927492 103
자동식질+검열복구 프로그램 개발현황
작업현황
프로베스트캣
08/23 25684 41
[자체번역] 라이프가드 홀릭
번역
akdbakdb
08/23 271785 361
라이프가드 홀릭 진행 질문
질문
gghp1013
08/23 7233 0
ㅅㅍ) 파마의무녀 3편 갠적으로 아쉬운 게 빌드업이 너무 좋았기 때문임
야짤
gozldtlqkf
08/23 33303 26
십 조이플로 용사파티 무너트리기 껐다키니까 저장 안돼있네
일반
chillsun
08/23 5717 0
무지성 '야'만 있는 게임 추천좀
질문
desk1519
08/23 5481 0
[구매보급] 음성 6개
소리
r4gsdrg
08/23 59368 79
좀 늦은 떡밥이긴 한데
일반
rkawkdnwn
08/23 6848 5
ai)쇼타) 해변가에서
야짤
JK
08/23 38316 65
바이러스하니 무서워서 그런데 괜찮은걸까
일반
moonjun
08/23 7723 -2
(복구요청)[AI번역]홍옥의 검사 티나 삭제된 씬 rev2
요청
siona
08/23 7861 1
[Frozenspiderlily] 어른이 된 우리는, 다시 그 호텔에서
동인
멜신
08/23 116849 93
스파이미션? 이 겜 ㅅㅂ;;(스포)
일반
3d만합니다
08/23 8243 0
와이푸 파이터인가 이거 웃기네 ㅋㅋㅋㅋㅋ
일반
ekvn238-4-ve2r-265w-23
08/23 8291 0
hotate chan 작가 속편 나오는 듯
야짤
플로로
08/23 35936 36
차원이 다른 스와핑 시리즈 4 나온건가
일반
bones
08/23 7400 4
영상도 방주 만들어야되는데 대가리 뜨끈해지네
일반
RED LOTUS
08/23 6509 0
년에 1-2번정도 바이러스 이슈 터지는듯
일반
d5d2d3d
08/23 7398 3
큰거온다 진짜 크다
야짤
맞장깔웅나야
08/23 26695 19
[如月群真] 호기심이 멈추지 않아
동인
ㅇㅇ
08/23 104089 40
수간/청아) 수간 보면서 드는 생각인대
야짤
플로로
08/23 26954 25
[복구 요청] RJ294242 NurseryDimension ~길 잃은 묘목과 촉수의 세계~
요청
mockingbird
08/23 6167 1
마성의 그녀 ED4 보려면 어찌해야 함?
질문
01hm4
08/23 6874 0
마성의 그녀 패치 받을 때...
질문
01hm4
08/23 7223 0
주말에 업뎃한다던 제작자 어디갔농
일반
diiriidii
08/23 6412 -1
(청아) 코붕이들 위 몸매가 좋냐 아래 몸매가 좋냐
야짤
플로로
08/23 23455 23
미츠키로 처음 3D영상을 접하는게 아니었음
일반
anshh99
08/23 6014 3
기대작을 기다리는 나
일반
ロリ巨乳
08/23 13414 8
[복구요청] 9-nine- 시리즈 복구 부탁드립니다.
요청
ajdis
08/23 5518 0
척영의 늑대 디코 근황
일반
eysayangban
08/23 6338 7