kone
Sign in
소미소프트
소미소프트

로컬 LLM 처음 써보는데 복잡하네

asdfg43210
04/19/2026, 05:04:32
일반
5642 views · 0 likes

Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯


일단 사용하는 글카는 5090


모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1


mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음


근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐

그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ

게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가

0
9 comments
argoklarke
04/19
시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19
5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19
크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19
혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19
GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19
그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임 https://sleepingrobots.com/dreams/stop-using-ollama/
Sign in to comment
All posts
All 공지 일반 미번 번역 복구 작업현황 정보 후기 및 공략 창작 동인 영상 야짤 소리 유틸 앱 피드백 세이브 질문 요청
❗알림❗ 지금 차단 당하면 해명해도 차단해제가 안되니 주의바람....
공지
1uF
06/01 17405546 82
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 15683576 181
🔔[필독] 서브 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 13076354 -22
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 14254219 -45
바이러스가 의심될 경우 가이드라인
공지
wouwouer
12/06/25 9927574 103
이미지 번역하면 용량 뻥튀기됨?
질문
sangun1
08/30 2907 0
멋대로 사정했는데도 수고했다고 해주는 히로인이 꼴린다
일반
인생망함
08/30 3055 1
중고샵 질문
질문
mamang
08/30 2929 1
[nukeru] 망가진 아스나 1~2
동인
신사의품격
08/30 67320 77
[복구요청]언홀리메이든 V 1.0.10 한글패치 (순정버전) 복구요청 부탁드립니다
요청
poung
08/30 5514 0
ntr도 ok인데
일반
FallOutBoy
08/30 3823 0
[복구요청] 【NTR 타락】 남자친구가 있는 착각에 빠진 미나토구 여성을 감금해 깨닫게 하는 7일 ~강력한 최음제·감도 증폭·환각에 푹 빠짐·사과와 봉사~
요청
yagamemaster
08/30 5125 1
섹스실습이 있는 섬 파란만장한 양생 어케 깸?
질문
yobikata12
08/30 4024 0
[요청복구] 타워 레지던스 안내과 대응 중 1
소리
qowurjfl
08/30 25537 61
[kito Sakeru] 아스나 와 사우나에서 땀범벅 섹스
동인
신사의품격
08/30 66280 105
아잇 씻팔 영상 합본이 있었노
작업현황
sleepmask
08/30 6375 3
집돌이 집순이는 당연한 현상 아닐까?
일반
godm24
08/30 4644 -6
[구매보급/번역요청] 学園祭おっぱぶパートナー特訓with彼氏持ち女子
미번
jkjjk195
08/30 21530 20
[미번/번역요청][Climbcrown] 질내사정 아저씨에게 노려진 암컷은 도망칠 수 없다 ~후지토모 메구미 편~
동인
octusyoke
08/30 59112 26
[구매보급] [미번] 고블린의 에로 트랩 던전+dlc 전부포함 23.07.23, 음마와 봉인의 마기아 16.08.31
미번
gkqisq
08/30 25395 27
개사기급 능력
일반
에로탐구가
08/30 4782 11
[구매보급]폭유여친과 옆집폭유언니의 남자친구를 건 쟁탈 레즈비언 배틀1+2편
소리
이름뭐하지
08/30 24681 28
겜 추천좀요
질문
데스포르카
08/30 3369 -1
Dungeons And Cat 세이브 파일 요청드립니다
요청
hahaha5959
08/30 3300 -2
크아악 네토리물에 ntr이란 제목 붙히지 말란말이다
일반
whimpercatt
08/30 3822 1
보빔 좀 있는 여주물 추천 좀
질문
wa4231
08/30 3172 0
미아
일반
쩝냡
08/30 3773 7
시니시스타2 북동쪽 마을 이거 어떻게 지나가야 함?
질문
mini0130
08/30 4346 0
거유로리가 너무 좋다
일반
ロリ巨乳
08/30 4135 3
밀팩(스파이) 캐릭 시나리오 부분부터 생기는버그
피드백
ol-lo
08/30 3998 4
요즘옷 어질어질하네
일반
신사의품격
08/30 4628 3
Ntr이랑 관음은 다른 장르로 봐야되나 싶네
일반
fisho
08/30 3984 1
난이도하니까 블랙소울2가 참 야겜주제에 오픈월드 RPG로써 난이도 설정 잘해논듯
일반
8ct1
08/30 4482 0
요청복구 RJ01630463 최애 VTuber의 비밀 멤버십 한정이 너무 대박이었다 자막+a
영상
r4gsdrg
08/30 65133 62
[요청복구]RJ01169679 퇴마사 레이나 ～수수께끼의 요마조직을 조사하라!~
복구
phese
08/30 48113 13