로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4764 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60676
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60676 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90859
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90859 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205287
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205287 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253487
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253487 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243745
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243745 -14
일반
아 ㅈ같다...
ashgray
05/08
3993
1
아 ㅈ같다...
일반
ashgray
05/08 3993 1
일반
가출소녀 주웠습니다. 메인메뉴 번역
kodudu
05/08
3132
7
가출소녀 주웠습니다. 메인메뉴 번역
일반
kodudu
05/08 3132 7
일반
나히아 동창회 애니로 보니까
horuragi
05/08
4146
1
나히아 동창회 애니로 보니까
일반
horuragi
05/08 4146 1
일반
돌고돌아 오랜만에 또 카린 하는중
돔마
05/08
4235
0
돌고돌아 오랜만에 또 카린 하는중
일반
돔마
05/08 4235 0
일반
요몽원 제작사는 뭘 하고 있는거냐
moma404
05/08
4296
0
요몽원 제작사는 뭘 하고 있는거냐
일반
moma404
05/08 4296 0
일반
아니 뭐야 기다리던겜 하나가 나왔었네 이미
stick2042
05/08
5288
0
아니 뭐야 기다리던겜 하나가 나왔었네 이미
일반
stick2042
05/08 5288 0
일반
요 근래 눈팅만 했는데 할말이 있슮
브라자
05/08
8368
50
요 근래 눈팅만 했는데 할말이 있슮
일반
브라자
05/08 8368 50
일반
나도 게임 만들고 싶다
irrdaz
05/08
3885
0
나도 게임 만들고 싶다
일반
irrdaz
05/08 3885 0
일반
F95 차단 당한거 줫같네
기열황룡
05/08
4742
3
F95 차단 당한거 줫같네
일반
기열황룡
05/08 4742 3
일반
백은의 탄환 뭔가 취향이 아니네
껄지
05/08
3940
0
백은의 탄환 뭔가 취향이 아니네
일반
껄지
05/08 3940 0
일반
와카라세할듯말듯 끝내 패배하는 동음없나
rkwkzhd
05/08
3726
-1
와카라세할듯말듯 끝내 패배하는 동음없나
일반
rkwkzhd
05/08 3726 -1
일반
방주 만든거 기간2일 남음
RED LOTUS
05/08
5883
3
방주 만든거 기간2일 남음
일반
RED LOTUS
05/08 5883 3
일반
카린의 감옥 개어렵네이거
nokui
05/08
5774
0
카린의 감옥 개어렵네이거
일반
nokui
05/08 5774 0
일반
아까 뭔 요상한 글을 본거같았는데
katress
05/08
5468
-2
아까 뭔 요상한 글을 본거같았는데
일반
katress
05/08 5468 -2
일반
비월선행록 이거 0.628 때 치트 있는데 이거 정식 버전에 적용은 못하겠지?
절대불멸
05/08
3411
-1
비월선행록 이거 0.628 때 치트 있는데 이거 정식 버전에 적용은 못하겠지?
일반
절대불멸
05/08 3411 -1
일반
Ntr이 개 좋은데
aszx1020
05/08
4132
1
Ntr이 개 좋은데
일반
aszx1020
05/08 4132 1
일반
AI 이미지 퀄리티 자체는 거의 수준급이 가능하다 봐야하지
lovesccubus
05/08
4255
1
AI 이미지 퀄리티 자체는 거의 수준급이 가능하다 봐야하지
일반
lovesccubus
05/08 4255 1
일반
AI 이미지 사용한 겜들도 이젠 무서울 정도구나
블돚거
05/08
4282
1
AI 이미지 사용한 겜들도 이젠 무서울 정도구나
일반
블돚거
05/08 4282 1
일반
아이와 악마와 음욕의 저주는 5분만 해도 게임이 호감이네
하츠네미쿠
05/08
4360
2
아이와 악마와 음욕의 저주는 5분만 해도 게임이 호감이네
일반
하츠네미쿠
05/08 4360 2
일반
히프노시스 레이무 << 이거 엄청 에라토호같네
eioeiei
05/08
3865
0
히프노시스 레이무 << 이거 엄청 에라토호같네
일반
eioeiei
05/08 3865 0
일반
뭔가 옛날게임은 손대기 무섭단 말이지...
liberty
05/08
4066
-4
뭔가 옛날게임은 손대기 무섭단 말이지...
일반
liberty
05/08 4066 -4
일반
토르도 생각보단 쓸만한거 같은데
kariv
05/08
5862
0
토르도 생각보단 쓸만한거 같은데
일반
kariv
05/08 5862 0
일반
마나카 모드 수정 드디어 성공했다 ㅅㅂ
이과유령의비밀
05/08
5232
7
마나카 모드 수정 드디어 성공했다 ㅅㅂ
일반
이과유령의비밀
05/08 5232 7
일반
아니 내 기억상 비월선행록 베타때는
yasking
05/08
10149
-1
아니 내 기억상 비월선행록 베타때는
일반
yasking
05/08 10149 -1
일반
케모노 완전히 갔나본데
tlrekddldydwk
05/08
6528
-3
케모노 완전히 갔나본데
일반
tlrekddldydwk
05/08 6528 -3
일반
0xc000007b 문제 해결하는법 찾아서 공유함
짐승의심장
05/08
7741
5
0xc000007b 문제 해결하는법 찾아서 공유함
일반
짐승의심장
05/08 7741 5
일반
아무리 꼴려도 음성 없으면 별로 더라
mkasdo
05/08
889
1
아무리 꼴려도 음성 없으면 별로 더라
일반
mkasdo
05/08 889 1
일반
시퀄은 두번이나 정주행했었는데
125nhoo
05/08
2534
1
시퀄은 두번이나 정주행했었는데
일반
125nhoo
05/08 2534 1
일반
요몽원 스캇이랑 발은 있으면서
유니콘대장
05/08
4298
2
요몽원 스캇이랑 발은 있으면서
일반
유니콘대장
05/08 4298 2
일반
의술사 필드 분위기 갭 차이가 너무 좋다
ashesone
05/08
3745
0
의술사 필드 분위기 갭 차이가 너무 좋다
일반
ashesone
05/08 3745 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43