kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5611 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405503 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683512 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076240 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254158 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927467 103
순애와 NTR
일반
여자란 자고로 허벅지가 굵어야
08/23 6473 2
NTR작좀 추천해주세요ㅠ
질문
NTR
08/23 8655 -1
[복구요청 ] 젖어드는 외딴섬
요청
너무해
08/23 7392 2
척영의 늑대 업데이트 됬던거 해봤는데 얼탱없네
일반
kokibambang
08/23 6212 1
AI) 원신 콜롬비나 뒤에서
야짤
무수
08/23 16292 2
AI) 나른한 햇살 속, 오직 당신만을 위해 들어내는 나체.. (With. 나히아)
야짤
카제가토오루
08/23 26325 33
크레아 스트러글 성녀 후타나리 섹스 어떻게 봄?
질문
rptmr1
08/23 8771 0
[복구요청] ST3111930 타락신관 여동생과 악마의 혈통
요청
xotnsdlek45
08/23 11889 2
코네 복붙 이미지 잘 안올라가는 거 같음
일반
너무해
08/23 6348 0
형님들 혹시 이 작품 뭔지 아시나요
질문
kast1983
08/23 6585 0
[구매보급] [내가번역]【밀착 오나호 제로 연속 책임】무표정 쌍둥이 ○ 리너스의 사무적 마조 정자 샘플 회수
소리
rocoa
08/23 57449 122
오치카노 어나더 진짜 곧이네
일반
vubuzela
08/23 7558 1
(한글 자막) [あちゃ]【複野原 華蓮】社内SEX休憩室♥
영상
개메좆그는약물난쟁이
08/23 178664 295
나으리들, 제발 망가 하나만 찾아주십쇼!
질문
전여친
08/23 6915 0
(AI, 보추)왜 이걸 만들었지?
야짤
highblue
08/23 18238 9
이 만화 작가는 평소에 뭘 보길레 이런 시츄를 떠올린걸까
일반
vkskxkwl1029
08/23 6328 0
아니 시발ㅋㅋㅋ옷추가 dlc인줄 알았더만... 퍼리화 dlc잖아.. ㅋㅋㅋㅋㅋ
야짤
kkkkkk0909
08/23 18802 10
울프툴 관련잡담
일반
cbdpffhj
08/23 6569 8
여름마녀(RJ01609862) 발매연기...
정보
kkkkkk0909
08/23 23030 5
[AI번역] 낯가림 보육교사와, 임시직원인 내가 코스프레 질내사정까지의 14일간(수정)
번역
릴리순애
08/23 315194 540
【하렘/순애/노모】하게 해주는 시리즈 모음
동인
HoneyWorks
08/23 193739 346
드래곤디아 근데 평은 안좋은데
일반
louvre
08/23 6266 0
성교육의 조교사 ~청순한 마조메스 암컷 아가씨~ 후기
후기 및 공략
묘오오옹
08/23 17383 1
에니시아 나이트메어 모드 어떻게 해야하는거임???
질문
kmo018
08/23 5513 0
고블린의 소굴 오류 해결법 적어둠
일반
nice
08/23 7175 1
【NTR?】우리 누나는 세상에서 제일 강하고 멋있어
동인
HoneyWorks
08/23 162528 154
bzzhr.co 이 사이트 자체가 나쁜건 아님.
일반
mybest
08/23 11113 3
「카리다」진척 보고 ⑰ ― H 스테이터스용 캐릭터 일러스트 변경
정보
인생망함
08/23 27064 11
평범함
일반
00250189
08/23 9980 -1
사라의 집 갤러리 코드 아는 사람?
질문
hate oyster
08/23 6006 0