로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4481 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60487
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60487 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90541
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90541 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204452
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204452 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252606
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252606 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243210
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243210 -14
일반
그런데 고어면서 료나라고 하는거 왜캐많음
sta2381
04/21
13347
1
그런데 고어면서 료나라고 하는거 왜캐많음
일반
sta2381
04/21 13347 1
일반
Dlsite 왜 자꾸 내 장바구니를 비우는거냐
toung
04/21
4298
0
Dlsite 왜 자꾸 내 장바구니를 비우는거냐
일반
toung
04/21 4298 0
일반
시발 악몽저택 시작을 못하겟네 진짜
heavy rain
04/21
5525
0
시발 악몽저택 시작을 못하겟네 진짜
일반
heavy rain
04/21 5525 0
일반
노출 마나카 이제 업데이트 안하나
moews
04/21
4459
-2
노출 마나카 이제 업데이트 안하나
일반
moews
04/21 4459 -2
일반
이런거 좋아하는구나..?
쩝냡
04/21
1918
0
이런거 좋아하는구나..?
일반
쩝냡
04/21 1918 0
일반
누군가의 방주 코드정리 도움 글
Ghost
04/21
2946
0
누군가의 방주 코드정리 도움 글
일반
Ghost
04/21 2946 0
일반
변신히로인물 작품이 요즘 좀 안보이네.
kakabu
04/21
4466
0
변신히로인물 작품이 요즘 좀 안보이네.
일반
kakabu
04/21 4466 0
일반
아니 대가리가 왜이렇게 커 ㅋㅋㅋㅋㅋㅋ
honey
04/21
1550
1
아니 대가리가 왜이렇게 커 ㅋㅋㅋㅋㅋㅋ
일반
honey
04/21 1550 1
일반
RPG MV/MZ 번역기 또또또 업뎃함... 재설치
mrpls
04/21
1225
7
RPG MV/MZ 번역기 또또또 업뎃함... 재설치
일반
mrpls
04/21 1225 7
일반
vp세레나 정신못차리고 2회차 달리고있네
띠띠용
04/21
2480
0
vp세레나 정신못차리고 2회차 달리고있네
일반
띠띠용
04/21 2480 0
일반
agent17 요원도 솔직히 꼴리는데
짐승의심장
04/21
2664
0
agent17 요원도 솔직히 꼴리는데
일반
짐승의심장
04/21 2664 0
일반
저주받은갑옷2 최신버전있는데
ytfga
04/21
1101
-3
저주받은갑옷2 최신버전있는데
일반
ytfga
04/21 1101 -3
일반
번역이 없는건 역시 안건드는게 안전하네
kdkdkd
04/21
5343
0
번역이 없는건 역시 안건드는게 안전하네
일반
kdkdkd
04/21 5343 0
일반
코네 리뉴얼은 언제 될라나
Shinjiro
04/21
10355
1
코네 리뉴얼은 언제 될라나
일반
Shinjiro
04/21 10355 1
일반
3060ti 따위로 로컬 LLM은 무리였나
얼불춤무료설치iL다운링크
04/21
7698
1
3060ti 따위로 로컬 LLM은 무리였나
일반
얼불춤무료설치iL다운링크
04/21 7698 1
일반
agent17 아직 미완성이었네
짐승의심장
04/21
6034
0
agent17 아직 미완성이었네
일반
짐승의심장
04/21 6034 0
일반
DLsite에서 왜 게임 한국어 번역 잘 안 하는지 알겠음
djmamas97
04/21
4643
5
DLsite에서 왜 게임 한국어 번역 잘 안 하는지 알겠음
일반
djmamas97
04/21 4643 5
일반
Ender Succuba 데드씬 회상은 없나
cococan
04/21
2998
-2
Ender Succuba 데드씬 회상은 없나
일반
cococan
04/21 2998 -2
일반
나 취향 ㅈㄴ 한결같네
ainijou
04/21
4485
1
나 취향 ㅈㄴ 한결같네
일반
ainijou
04/21 4485 1
일반
여기는 확실히 학식들이 많은듯?
P3 Orion
04/21
4995
0
여기는 확실히 학식들이 많은듯?
일반
P3 Orion
04/21 4995 0
일반
검수 좀 열심히 해야지
솔라셀
04/21
1223
0
검수 좀 열심히 해야지
일반
솔라셀
04/21 1223 0
일반
달의물기획 신작은 대체 언제 나올까
arcadia1702
04/21
1658
0
달의물기획 신작은 대체 언제 나올까
일반
arcadia1702
04/21 1658 0
일반
스팀 하고나서 참 겜 사기 쉬워진듯
ロリ巨乳
04/21
2190
1
스팀 하고나서 참 겜 사기 쉬워진듯
일반
ロリ巨乳
04/21 2190 1
일반
타락신관 dlc 에 추가 순애신은 풋잡이 끝인가봐
happy3
04/21
2124
1
타락신관 dlc 에 추가 순애신은 풋잡이 끝인가봐
일반
happy3
04/21 2124 1
일반
dlsite 별점이 은근 믿을만함
ㅇㅇ
04/21
2001
1
dlsite 별점이 은근 믿을만함
일반
ㅇㅇ
04/21 2001 1
일반
마나카 정복했음
moews
04/21
3846
3
마나카 정복했음
일반
moews
04/21 3846 3
일반
극악무도한 순애충이지만 백보양보해서 ntl은 그렇다 치는데
불꽃롱
04/21
4141
0
극악무도한 순애충이지만 백보양보해서 ntl은 그렇다 치는데
일반
불꽃롱
04/21 4141 0
일반
(음해의 크랜스트랩 스포) 아니시발 잭슨!!!
nagisa8262
04/21
4835
1
(음해의 크랜스트랩 스포) 아니시발 잭슨!!!
일반
nagisa8262
04/21 4835 1
일반
바부는 소미소프트 금지야
아이기스맘
04/21
6613
0
바부는 소미소프트 금지야
일반
아이기스맘
04/21 6613 0
일반
야겜 중에 개씹존나꼴리는구도
인생좆망함
04/21
5149
1
야겜 중에 개씹존나꼴리는구도
일반
인생좆망함
04/21 5149 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43