kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5599 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405500 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683495 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076203 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254139 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927423 103
바이러스 탭 신설은 별룹니까
질문
moomin
08/23 6390 0
고맙다 덕분에 나도 바이러스 하나 발견했어
일반
lovelylovely
08/23 6829 0
[구매보급][전편하렘섹스♡] 로리 누나 쌍둥이 자매의 밀착 애착 하렘 성교육 ~달콤하고 상냥한 언니들과, 우월감 음담패설 속삭임으로 생날것의 H 공부♪~ [쓰루푸니 밀착 전긍정]
소리
이름뭐하지
08/23 49400 59
[번역 자막만]【자지 구걸】 늠름하고 엄청나게 강하지만 쉽게 넘어오는 사랑에 빠진 소녀인 검도부 부장이 여자다워지고 싶다고 하길래, 좆밥중독 오나홀로 타락시켜 준 이야기
소리
하츠네미쿠
08/23 51100 71
[구매보급/번역요청/청아] 輪々処 서클 게임모음
미번
d456a5
08/23 51194 32
사진에 존재하는 짤에 대한 원본을 찾고 싶습니다.
질문
seoh1
08/23 5509 0
바이러스 떡밥돌길래
일반
gastn
08/23 5620 0
어제 바로 멀웨어 제로를 돌려서인가 아니몀 눈치채자마자 바로 싹다 갈아엎어서 그런가
일반
닉_뭘로_할까
08/23 5423 -1
130. AI, 셀레스포니아) 공원 노출
야짤
miso5
08/23 58349 70
해킹
질문
ajsjcuu772
08/23 6098 0
[복구요청] [RJ201323](기번)사요코~별에게 소원을 빈 여름
요청
hakyeoreum
08/23 5631 0
걸즈 콜렉터 v1.07 (기번, 이미지, 노모) 올해 2월에 받은 사람 들어와보셈
일반
bangsanspy
08/23 7082 5
존재감 여동생 돌덩이 어떻게부수는거야;;
질문
chang00
08/23 6397 0
드래곤 콘키스타 개 띵작임?
질문
pestoiuu
08/23 4817 1
바이러스 주의 안내사항
일반
lkjlkjlk
08/23 19804 24
잭오나 모바일로 하고싶습니다!
질문
chuudoku
08/23 5404 0
어사일럼 비약 내성 약화 어떻게 하는거임?
질문
emddj290
08/23 6026 0
[Shirabe Shiki] 대음마전에 있어서 감각 차단 부적은 필수 대비책입니다 ⑥
동인
티모
08/23 142255 252
어제 여름빛 클로버 다시하니깐 재밋긴하네
일반
신사의품격
08/23 5264 0
슈킹링크 구분못하겠는데 애드가드 쓰기 어렵다 들어와라
일반
하츠네미쿠
08/23 4838 3
서큐버스 프리즌 ~유몽 귀환~ 손번역일지 2
작업현황
cbdpffhj
08/23 20373 28
최근에 디코 털리깅했는데
일반
tlqkfshadkdk
08/23 5402 1
[복구 요청] 작별의 체크리스트
요청
ibuki
08/23 8156 -2
해킹 글 보니까 ㅅㅂ 나도 포맷해야겠따
일반
vubuzela
08/23 8061 1
(미번,농빵)유령소녀:계속
동인
jinys9810
08/23 105483 59
셀레스포니아 잘 아는사람 이중에 뭘 해야하는거임?
일반
애플파이pie
08/23 6378 0
이런 머저리 같은 전개 나오면 자지 다 죽음
일반
zmdkdkdkd55
08/23 5936 5
혹시 나의 비참한 인생 끝까지 다 클리어 한 사람 진행도 질문좀
질문
soft1557
08/23 6343 0
근데 자주쓰이는게 메가나 키오스크쓰지들않음?
일반
qncnqhR
08/23 5231 -1
청아)수간)충간)44Ko44Or44OH44OD44KtCgo=모음집
영상
이상한 사람
08/23 139491 96