로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4481 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60487
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60487 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90541
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90541 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204452
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204452 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252606
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252606 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243210
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243210 -14
일반
아이돌 라이브 언더 이치고 시작하자마 뿜었네
Nate Higgerson
04/12
12130
0
아이돌 라이브 언더 이치고 시작하자마 뿜었네
일반
Nate Higgerson
04/12 12130 0
일반
존재감 뭔가 계속 하고 있긴한가보네
incoming
04/12
1906
0
존재감 뭔가 계속 하고 있긴한가보네
일반
incoming
04/12 1906 0
일반
요몽원 이거 진짜 물건이네
zlffkzlf
04/12
5609
4
요몽원 이거 진짜 물건이네
일반
zlffkzlf
04/12 5609 4
일반
주말다갈아서 타락신관다깸..
레전드누렁이
04/12
4428
1
주말다갈아서 타락신관다깸..
일반
레전드누렁이
04/12 4428 1
일반
이거 은근 신경쓰이네요.
alsocivil
04/12
2031
1
이거 은근 신경쓰이네요.
일반
alsocivil
04/12 2031 1
일반
이렇게 재밌는거 또 이제야 알았네
KPOpo
04/12
2962
3
이렇게 재밌는거 또 이제야 알았네
일반
KPOpo
04/12 2962 3
일반
조교물에서 히로인 공유는 중범죄다...
butler
04/12
11423
2
조교물에서 히로인 공유는 중범죄다...
일반
butler
04/12 11423 2
일반
케모노 죽었다.
잉여롭게
04/12
4252
0
케모노 죽었다.
일반
잉여롭게
04/12 4252 0
일반
패트리온 후원하던 사람이 정지먹었어
e12eaz
04/12
3910
0
패트리온 후원하던 사람이 정지먹었어
일반
e12eaz
04/12 3910 0
일반
기분탓인가?
shiki
04/12
10081
0
기분탓인가?
일반
shiki
04/12 10081 0
일반
셀레스포니아 메이플 모드 플레이해보니깐
liberty
04/12
2706
1
셀레스포니아 메이플 모드 플레이해보니깐
일반
liberty
04/12 2706 1
일반
아 이거 SRPG 엔진이네
네토라레프린세스
04/12
9557
0
아 이거 SRPG 엔진이네
일반
네토라레프린세스
04/12 9557 0
일반
서큐버스물은 많은데
vcs82792
04/12
3093
1
서큐버스물은 많은데
일반
vcs82792
04/12 3093 1
일반
오만한 괴수공주 모자이크 있는거 진짜 아쉽네
jungdonuts
04/12
3341
-2
오만한 괴수공주 모자이크 있는거 진짜 아쉽네
일반
jungdonuts
04/12 3341 -2
일반
솜붕이 운 좋나 좋음.
아이기스맘
04/12
5918
3
솜붕이 운 좋나 좋음.
일반
아이기스맘
04/12 5918 3
일반
렌파이 한패 받아서 플레이해보면
immuune
04/12
2046
-2
렌파이 한패 받아서 플레이해보면
일반
immuune
04/12 2046 -2
일반
(스포)그저.. 쯔꾸르 야겜 고트 '색귀'
1vuvuzela
04/12
2550
6
(스포)그저.. 쯔꾸르 야겜 고트 '색귀'
일반
1vuvuzela
04/12 2550 6
일반
어제 저녁부터 지금까지 기번 돌렸는데
yobikata12
04/12
1972
0
어제 저녁부터 지금까지 기번 돌렸는데
일반
yobikata12
04/12 1972 0
일반
AI가 나오고
villan
04/12
7868
0
AI가 나오고
일반
villan
04/12 7868 0
일반
살면서 본인이 제일 재밌게 했었던 야겜 적고 가자
rotlqkd
04/12
9287
0
살면서 본인이 제일 재밌게 했었던 야겜 적고 가자
일반
rotlqkd
04/12 9287 0
일반
정리할게 산더미네
layon
04/12
2076
0
정리할게 산더미네
일반
layon
04/12 2076 0
일반
유틸에 디지털 도서관?
몬스터가아니다신이다
04/12
2499
0
유틸에 디지털 도서관?
일반
몬스터가아니다신이다
04/12 2499 0
일반
한 게임을 오래 잡고 나니 현탐 심하게 오네
anfhakcl
04/12
2582
0
한 게임을 오래 잡고 나니 현탐 심하게 오네
일반
anfhakcl
04/12 2582 0
일반
B-ginga 작품 꼴리는게 많네
응애
04/12
2302
0
B-ginga 작품 꼴리는게 많네
일반
응애
04/12 2302 0
일반
블랙소울시리즈 재밌네 ㅋㅋㅋㅋ
wsnp
04/12
3644
0
블랙소울시리즈 재밌네 ㅋㅋㅋㅋ
일반
wsnp
04/12 3644 0
일반
짬지가 여자애거 부를 때 쓰는거 된거 보면 묘하네
앨리스
04/12
1533
0
짬지가 여자애거 부를 때 쓰는거 된거 보면 묘하네
일반
앨리스
04/12 1533 0
일반
언홀리메이든 호평이 정말 많구나
shiroi
04/12
5759
0
언홀리메이든 호평이 정말 많구나
일반
shiroi
04/12 5759 0
일반
8테라 외장하드 꽉차가는데 뭘로 새로 사야하나
astart
04/12
4505
0
8테라 외장하드 꽉차가는데 뭘로 새로 사야하나
일반
astart
04/12 4505 0
일반
미래의 AI가 대단할수록 현재 번역의 가치는 미미한거 아닐까
루미네순애
04/12
3179
-6
미래의 AI가 대단할수록 현재 번역의 가치는 미미한거 아닐까
일반
루미네순애
04/12 3179 -6
일반
여긴 부계 생성만 어려워져도 훨씬 깨끗해질걸
앨리스
04/12
2212
5
여긴 부계 생성만 어려워져도 훨씬 깨끗해질걸
일반
앨리스
04/12 2212 5
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43