로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4672 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90658
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90658 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205069
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205069 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252866
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252866 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243505
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243505 -14
일반
음최도시 휴프노즘 진짜 반드시 치트 써서 플레이하세오ㅋㅋㅋ
laskokoi
05/04
6676
6
음최도시 휴프노즘 진짜 반드시 치트 써서 플레이하세오ㅋㅋㅋ
일반
laskokoi
05/04 6676 6
일반
아 시발 제목 잘못 씀
doodkey
05/04
1713
1
아 시발 제목 잘못 씀
일반
doodkey
05/04 1713 1
일반
ㅅㅂ 역시 나는 ntr취향은 아니네
taein4857
05/04
3304
0
ㅅㅂ 역시 나는 ntr취향은 아니네
일반
taein4857
05/04 3304 0
일반
셀레스포니아 나이트 메이플 장독 오염 때문에 자꾸 튕기네
꼬냑
05/04
2184
0
셀레스포니아 나이트 메이플 장독 오염 때문에 자꾸 튕기네
일반
꼬냑
05/04 2184 0
일반
F95는 왜쳐막아가지고 ㅅㅂ 좆병신나라
scout09
05/04
5277
0
F95는 왜쳐막아가지고 ㅅㅂ 좆병신나라
일반
scout09
05/04 5277 0
일반
확산 방지 차원에서 지웠음
Ghost
05/04
3223
10
확산 방지 차원에서 지웠음
일반
Ghost
05/04 3223 10
일반
7월되면 코네도 죽을까
begpipe
05/04
3164
3
7월되면 코네도 죽을까
일반
begpipe
05/04 3164 3
일반
눈물나게 그립습니다...
argoklarke
05/04
1788
4
눈물나게 그립습니다...
일반
argoklarke
05/04 1788 4
일반
2개월 남았다
bigdoldol2
05/04
5081
2
2개월 남았다
일반
bigdoldol2
05/04 5081 2
일반
이러면 행복 야스 라이프 가능?
ixeridium
05/04
2549
0
이러면 행복 야스 라이프 가능?
일반
ixeridium
05/04 2549 0
일반
팬박스 구독하는 작가 저번달 유료분 하나도 안올렸네
pinggo45
05/04
1225
0
팬박스 구독하는 작가 저번달 유료분 하나도 안올렸네
일반
pinggo45
05/04 1225 0
일반
진짜 게임성 0인데 순수젖탱이로 내 컬렉션에 있는 회사 2개
azezazazezaz
05/04
2007
1
진짜 게임성 0인데 순수젖탱이로 내 컬렉션에 있는 회사 2개
일반
azezazazezaz
05/04 2007 1
일반
아 죽겠네 ㅋㅋ
auo-cast-off
05/04
2131
0
아 죽겠네 ㅋㅋ
일반
auo-cast-off
05/04 2131 0
일반
뭔가 요새 끌리는게 없네
stick2042
05/04
3983
0
뭔가 요새 끌리는게 없네
일반
stick2042
05/04 3983 0
일반
오 야리나리 ntr 추가됐네
ntr-masterpeace
05/04
2543
0
오 야리나리 ntr 추가됐네
일반
ntr-masterpeace
05/04 2543 0
일반
booth 포인트 결제가 안되네..
sngjw1kq
05/04
2748
-1
booth 포인트 결제가 안되네..
일반
sngjw1kq
05/04 2748 -1
일반
캐릭터가 너무 멍청하면 잘 안꼴리는거같음
mimimimimimi
05/04
1567
0
캐릭터가 너무 멍청하면 잘 안꼴리는거같음
일반
mimimimimimi
05/04 1567 0
일반
토에하 하고 느낀건데 얘네는 참 모독적인 표현은 잘하더라
fourdragonruler
05/04
2139
0
토에하 하고 느낀건데 얘네는 참 모독적인 표현은 잘하더라
일반
fourdragonruler
05/04 2139 0
일반
F95 들어가는거 막힌게 답답하네....
보나파르트
05/04
1294
0
F95 들어가는거 막힌게 답답하네....
일반
보나파르트
05/04 1294 0
일반
왜 나는 야겜을 '야'로 못즐길까
zhspdyd0
05/04
4483
0
왜 나는 야겜을 '야'로 못즐길까
일반
zhspdyd0
05/04 4483 0
일반
난 정자난자 묘사하는게 그렇게 꼴리더라
unknown1357
05/04
1070
2
난 정자난자 묘사하는게 그렇게 꼴리더라
일반
unknown1357
05/04 1070 2
일반
홍옥의 티나1 리마스터 해줬으면 좋겠당..
추붕
05/04
1404
0
홍옥의 티나1 리마스터 해줬으면 좋겠당..
일반
추붕
05/04 1404 0
일반
여동생 모노크롬 이번에 리메이크 나오면
여동생킬러
05/04
4007
3
여동생 모노크롬 이번에 리메이크 나오면
일반
여동생킬러
05/04 4007 3
일반
구련휘정 귀신의 집은 힘드네 ㅋㅋ
tsukihime
05/04
1723
0
구련휘정 귀신의 집은 힘드네 ㅋㅋ
일반
tsukihime
05/04 1723 0
일반
어이가 없네 ㅋㅋ
aoisora
05/04
2798
0
어이가 없네 ㅋㅋ
일반
aoisora
05/04 2798 0
일반
비월선행록 씬이 많이 삭제됬네??
atontruk
05/04
6092
0
비월선행록 씬이 많이 삭제됬네??
일반
atontruk
05/04 6092 0
일반
존재감 여동생 유명해서 깔아봤는데 조금 난해하네
쓰던걸갖다가
05/04
3766
5
존재감 여동생 유명해서 깔아봤는데 조금 난해하네
일반
쓰던걸갖다가
05/04 3766 5
일반
젬마4 26b로 계속 딸깍번역 돌리니까 슬슬 글카 뜨끈뜨끈해지네
렐루
05/04
2314
0
젬마4 26b로 계속 딸깍번역 돌리니까 슬슬 글카 뜨끈뜨끈해지네
일반
렐루
05/04 2314 0
일반
X를 뒤적이다가 발견함
sorbe123
05/04
2999
0
X를 뒤적이다가 발견함
일반
sorbe123
05/04 2999 0
일반
크아아악 ssd 너무 비싸
cyberzombie
05/04
1620
0
크아아악 ssd 너무 비싸
일반
cyberzombie
05/04 1620 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43