로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4703 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60609
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60609 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90706
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90706 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205131
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205131 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252934
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252934 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243563
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243563 -14
일반
의술사 겜 왠지 한국 얘기같아
hukihukito
05/12
3239
0
의술사 겜 왠지 한국 얘기같아
일반
hukihukito
05/12 3239 0
일반
올만에 마나카할라했는데 뭔 모드가 많이 나왓네
루파조아
05/12
1855
0
올만에 마나카할라했는데 뭔 모드가 많이 나왓네
일반
루파조아
05/12 1855 0
일반
치한수사관 리나 모드 올라온 걸 보고나서
ltony
05/12
1680
-1
치한수사관 리나 모드 올라온 걸 보고나서
일반
ltony
05/12 1680 -1
일반
이젠 날 만족시킬 수 있는 게임이 없네
eqwrolk12
05/12
1728
0
이젠 날 만족시킬 수 있는 게임이 없네
일반
eqwrolk12
05/12 1728 0
일반
요몽원 이미지 번역하면 수요 있나?
losress
05/12
5825
55
요몽원 이미지 번역하면 수요 있나?
일반
losress
05/12 5825 55
일반
변제계획 DLC는
brothers
05/12
1531
1
변제계획 DLC는
일반
brothers
05/12 1531 1
일반
시너지 복장 자유도가 좀 아쉽다
dwadwa112
05/12
1915
0
시너지 복장 자유도가 좀 아쉽다
일반
dwadwa112
05/12 1915 0
일반
음최도시 휴프노즘 미실이 뒷이야기.
SML
05/12
6743
-1
음최도시 휴프노즘 미실이 뒷이야기.
일반
SML
05/12 6743 -1
일반
살아라 그대는 아름답다.
에로탐구가
05/12
6474
4
살아라 그대는 아름답다.
일반
에로탐구가
05/12 6474 4
일반
교칙겜 이렇게 하는거 맞나
2771717
05/12
2151
1
교칙겜 이렇게 하는거 맞나
일반
2771717
05/12 2151 1
일반
의술사 진짜 개좆버그 걸려서 울뻔함..
ㅇㅇ
05/12
2624
2
의술사 진짜 개좆버그 걸려서 울뻔함..
일반
ㅇㅇ
05/12 2624 2
일반
ya-ho-games 서클 작품들이 진짜 다 안하면 세계관은 이해 못하게 만들어놓긴함...
asdf788
05/12
8396
2
ya-ho-games 서클 작품들이 진짜 다 안하면 세계관은 이해 못하게 만들어놓긴함...
일반
asdf788
05/12 8396 2
일반
사키와 음락의 도가니 다음작은 언제 나오는걸까
루파조아
05/12
10419
1
사키와 음락의 도가니 다음작은 언제 나오는걸까
일반
루파조아
05/12 10419 1
일반
아리만 빨리 게임내라고
ra35894
05/12
1383
0
아리만 빨리 게임내라고
일반
ra35894
05/12 1383 0
일반
미소녀 외에는 서브금지해야함.
아이기스맘
05/12
3171
0
미소녀 외에는 서브금지해야함.
일반
아이기스맘
05/12 3171 0
일반
안끌리지만 서큐버스 헤븐 도로시로 플레이해야지
루파조아
05/12
3801
0
안끌리지만 서큐버스 헤븐 도로시로 플레이해야지
일반
루파조아
05/12 3801 0
일반
Starmaker story 소식
Tladitlrekdtkfkdgo
05/12
5857
4
Starmaker story 소식
일반
Tladitlrekdtkfkdgo
05/12 5857 4
일반
크리매니아는 ㄹㅇ 대체뭐지
qwerty9412
05/12
1995
0
크리매니아는 ㄹㅇ 대체뭐지
일반
qwerty9412
05/12 1995 0
일반
의술사 미친
응애
05/12
2140
-1
의술사 미친
일반
응애
05/12 2140 -1
일반
교착의 관 뭔가 갓겜의냄새가 나서 해봤는데
doublejay
05/12
8180
0
교착의 관 뭔가 갓겜의냄새가 나서 해봤는데
일반
doublejay
05/12 8180 0
일반
요즘 신작 렌파이가 안나오나....할게없네....
belial
05/12
1587
2
요즘 신작 렌파이가 안나오나....할게없네....
일반
belial
05/12 1587 2
일반
에반젤린 겜은 븅신인데 씬은 개꼴리네
un1542
05/12
1404
0
에반젤린 겜은 븅신인데 씬은 개꼴리네
일반
un1542
05/12 1404 0
일반
카나데 루프 아직 제작 중이었구나...
날개 로봇
05/11
1928
0
카나데 루프 아직 제작 중이었구나...
일반
날개 로봇
05/11 1928 0
일반
REC) 방향성 대전환!!(구라임)
kunarin
05/11
3950
2
REC) 방향성 대전환!!(구라임)
일반
kunarin
05/11 3950 2
일반
케모노랑 비슷한 사이트 찾긴했는데
playhsui
05/11
5758
-34
케모노랑 비슷한 사이트 찾긴했는데
일반
playhsui
05/11 5758 -34
일반
시발 히토미 접속 막혔나?
alice39
05/11
5211
-7
시발 히토미 접속 막혔나?
일반
alice39
05/11 5211 -7
일반
와 알리시아ㅋㅋㅋㅋㅋ 개꼴리네
un1542
05/11
6429
2
와 알리시아ㅋㅋㅋㅋㅋ 개꼴리네
일반
un1542
05/11 6429 2
일반
님포매니아 새샘 개같네
Nate Higgerson
05/11
2005
2
님포매니아 새샘 개같네
일반
Nate Higgerson
05/11 2005 2
일반
어사일럼 진엔딩 한 번 보니까 걸레처럼 못굴리갯내,,
이과유령의비밀
05/11
4594
1
어사일럼 진엔딩 한 번 보니까 걸레처럼 못굴리갯내,,
일반
이과유령의비밀
05/11 4594 1
일반
아마존 시발 핸드폰 하나로 다 계정 안되는거 개좆같음....
livevera74
05/11
2852
1
아마존 시발 핸드폰 하나로 다 계정 안되는거 개좆같음....
일반
livevera74
05/11 2852 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43