로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4578 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60599
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60599 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90602
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90602 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204973
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204973 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252771
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252771 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243369
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243369 -14
일반
태그검열하는 곳이 점점 생기네
블랙패킷
05/20
2949
2
태그검열하는 곳이 점점 생기네
일반
블랙패킷
05/20 2949 2
일반
너무 힘들다
이상한 사람
05/20
2624
0
너무 힘들다
일반
이상한 사람
05/20 2624 0
일반
꿈에서 찝찝한 근친물 봤음
antarctica
05/20
2939
2
꿈에서 찝찝한 근친물 봤음
일반
antarctica
05/20 2939 2
일반
여성인권 신장을 위해 왜 맨날 투디만 잡냐 ㅠㅠ
렐루
05/20
2855
0
여성인권 신장을 위해 왜 맨날 투디만 잡냐 ㅠㅠ
일반
렐루
05/20 2855 0
일반
ㅁㅊ.. 나 Nas 망가지면 꿈도 미래도없네
아로나
05/20
2625
-1
ㅁㅊ.. 나 Nas 망가지면 꿈도 미래도없네
일반
아로나
05/20 2625 -1
일반
판티아가 일본계 후원 사이트 중에서 제일 기능 구린 곳이었는데
날개 로봇
05/20
5599
2
판티아가 일본계 후원 사이트 중에서 제일 기능 구린 곳이었는데
일반
날개 로봇
05/20 5599 2
일반
왜 판티아 알림 메일이 줄줄이 올라오나 했더니
번거
05/20
2406
1
왜 판티아 알림 메일이 줄줄이 올라오나 했더니
일반
번거
05/20 2406 1
일반
판티아 단순하게 모자이크 더 강화하라는 건 줄 알았는데
단또
05/20
2186
0
판티아 단순하게 모자이크 더 강화하라는 건 줄 알았는데
일반
단또
05/20 2186 0
일반
이러면 판티아 쓸 이유가 있나?
notmyark
05/20
2679
0
이러면 판티아 쓸 이유가 있나?
일반
notmyark
05/20 2679 0
일반
의술사 이거 존나 재밌네
Noel
05/20
2159
0
의술사 이거 존나 재밌네
일반
Noel
05/20 2159 0
일반
판티아 왜 그러냐
dtgft6
05/19
1668
0
판티아 왜 그러냐
일반
dtgft6
05/19 1668 0
일반
오늘 예비군이다...
겜믈리에
05/19
3024
3
오늘 예비군이다...
일반
겜믈리에
05/19 3024 3
일반
방주 정리하면서 나도 모르게 삭제한게 좀 있나보네
toung
05/19
3767
1
방주 정리하면서 나도 모르게 삭제한게 좀 있나보네
일반
toung
05/19 3767 1
일반
(스포)Lost chapter 이거 감정선이 좀 이상한데
paddackmon
05/19
3231
0
(스포)Lost chapter 이거 감정선이 좀 이상한데
일반
paddackmon
05/19 3231 0
일반
게임샀다
페비
05/19
3016
4
게임샀다
일반
페비
05/19 3016 4
일반
판티아도 지랄났네
페비
05/19
2876
10
판티아도 지랄났네
일반
페비
05/19 2876 10
일반
아무도 낚시 안했는데 혼자 제목낚시당함...
발바닥
05/19
2177
1
아무도 낚시 안했는데 혼자 제목낚시당함...
일반
발바닥
05/19 2177 1
일반
펄스미스2 배분이 왜 이러지
un1542
05/19
3622
1
펄스미스2 배분이 왜 이러지
일반
un1542
05/19 3622 1
일반
케모노 뒤진거 안타깝네
페로로질라
05/19
4537
0
케모노 뒤진거 안타깝네
일반
페로로질라
05/19 4537 0
일반
후속작 떡밥 있는 야겜이 너무 무섭딘
부탄가스
05/19
1822
0
후속작 떡밥 있는 야겜이 너무 무섭딘
일반
부탄가스
05/19 1822 0
일반
ntr을 너무 즐겨보니까 좀 이상해짐
ikusa-1
05/19
2581
0
ntr을 너무 즐겨보니까 좀 이상해짐
일반
ikusa-1
05/19 2581 0
일반
이 씨발년 결국 찍싸고 튀었네
마사지
05/19
4544
6
이 씨발년 결국 찍싸고 튀었네
일반
마사지
05/19 4544 6
일반
어으 씨 모니터 주사율 문제엿나
제이워드
05/19
1430
1
어으 씨 모니터 주사율 문제엿나
일반
제이워드
05/19 1430 1
일반
불사설정 캐릭터 볼 때마다 엄한 생각나네
puccho
05/19
2385
3
불사설정 캐릭터 볼 때마다 엄한 생각나네
일반
puccho
05/19 2385 3
일반
흑발 존예 히토미 추천 받아요
haha19
05/19
2352
-2
흑발 존예 히토미 추천 받아요
일반
haha19
05/19 2352 -2
일반
의술사 톰보이 어흐 ㅋㅋㅋ 하고있었는데
noname1919
05/19
1958
1
의술사 톰보이 어흐 ㅋㅋㅋ 하고있었는데
일반
noname1919
05/19 1958 1
일반
비월선행록 이거 맵탐사보다는 퀘따라가야되네
allon
05/19
2182
0
비월선행록 이거 맵탐사보다는 퀘따라가야되네
일반
allon
05/19 2182 0
일반
오늘 아무런 사전 예고 없이 회사에 연차 냈다....
shingoldhammer
05/19
2434
3
오늘 아무런 사전 예고 없이 회사에 연차 냈다....
일반
shingoldhammer
05/19 2434 3
일반
악재다
화앨
05/19
2124
1
악재다
일반
화앨
05/19 2124 1
일반
capslock같은건 누가 만든거야
슬래시
05/19
1506
0
capslock같은건 누가 만든거야
일반
슬래시
05/19 1506 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43