kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5629 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405530 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683558 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076307 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254196 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927546 103
마장영희 세레녹시아는 올해 12 월 31 일에 출시해도 기적 아닐까?
일반
하키나
08/30 4120 0
우주 산업이나 외계행성 탐험에 되게 부정적인데
일반
codegreen
08/30 3837 0
나는 몸 쓰는 동아리가 좋다
일반
manaeli2825
08/30 3645 0
아 섹스 실습섬 세이브 날렸다
일반
paromote
08/30 3910 0
ai 따로 탭 만드는 건 좀 낭비인가
일반
nanairo
08/30 11167 31
Home 후기 + 짧팁
후기 및 공략
jokerkamil
08/30 21128 32
vp 세레나 죄책감 ㅈ되노 ㅅㅂㅋㅋ
일반
엔하리그베다나무
08/30 6340 -2
[복구요청] 나를 사랑하는 3명의 서큐버스 복구 부탁드립니다
요청
simsim12
08/30 5346 0
rec민감 존나높네
일반
bliuneos
08/30 4663 0
[복구요청] NTR아이돌 -꿈의 약속 2.05 복구 부탁드립니
요청
nonename
08/30 6035 0
[AI][미검수]아마세 미유를 전국대회에 데려가줘! v1.0.0
번역
아르
08/30 126370 156
[복구요청] 루텔라리아의 봉인
요청
강조
08/30 4780 1
추남 노숙자에게 당하는게 ㄹㅇ폭력적으로 꼴릴때가 있음
야짤
ㅇㅇ
08/30 15459 9
[복구요청] RJ01077239 감각차단 함정 시뮬레이터
요청
aninumoo
08/30 5057 -2
[복구요청] 【VR】초만원 전철 ~역에서 발견한 귀여운 아이에게 몰래 장난~ RJ01290571
요청
illillillilli
08/30 5840 0
double exposure 같은겜 없음?
질문
아죠씨
08/30 5445 2
[Clover] 공유여친 1 - 4 (3, 4는 미번)
동인
tldifix
08/30 72152 27
포켓몬 망가 찾아주실분 있나요 ㅠㅠ
질문
dddddddas11334
08/30 4784 -3
주말동안 뭘한거람
일반
aLdpSrLS
08/30 5298 1
미번,펌) glty07 ゴル 부장과 세이버가 코스프레 H 하는 이야기
동인
너구리
08/30 65879 20
Beta-sama no Amaama Chikubi Name Tekoki
동인
신사의품격
08/30 62683 27
오랜만에 백신 돌렸는데 멀웨어 2개가 나오네
일반
Bluebe
08/30 4461 0
종말의 얼터에고이즘 개조+dlc
질문
satam1212
08/30 4616 0
[요청복구] 퇴마사 카오루 ~마조인걸 들키면 안 되는 인습촌~
복구
tktpqjvkffh
08/30 60218 35
혹시 dawalixi 작가 젖소 나들이 코스 클린본 아는 사람 있냐
질문
49i1jb
08/30 6359 0
【순애/노모】면허 합숙에서 운명의 사람을 만난 이야기
동인
HoneyWorks
08/30 80447 102
영포티 직장인 판타지
동인
무이이야
08/30 74281 67
[구매보급,번역요청] [고어,료나] RJ356059 귀인 제국 ~반귀의 여자를 강O하고 동료를 만들어라~
미번
쁠뿡
08/30 28676 22
이겜은 모바일로는 절대 못하나
질문
judar25
08/30 5059 -1
[Poron] 흑갸루와 조숙한 꼬맹이의 엣찌한 숙박회
동인
ed123
08/30 56788 17