로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4767 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60786
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60786 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
91332
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 91332 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205663
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205663 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253880
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253880 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243839
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243839 -14
일반
멀웨어 이슈 글 속의 게임 넘버 정리 - 내용수정끝(+검사스크립트 링크추가)
katress
01/01
188066
102
멀웨어 이슈 글 속의 게임 넘버 정리 - 내용수정끝(+검사스크립트 링크추가)
일반
katress
01/01 188066 102
일반
지금 해외사이트에서 만든 멀웨어가 야겜에 퍼지고 있다고 함
노아선배
01/01
8747
61
지금 해외사이트에서 만든 멀웨어가 야겜에 퍼지고 있다고 함
일반
노아선배
01/01 8747 61
일반
최근에 해외 사이트에서 채굴 멀웨어 퍼졌다고 함
123441352
01/01
66370
245
최근에 해외 사이트에서 채굴 멀웨어 퍼졌다고 함
일반
123441352
01/01 66370 245
일반
2025년 GOAT & 스페셜 결선
ㅇㅇ
12/31/25
4347
15
2025년 GOAT & 스페셜 결선
일반
ㅇㅇ
12/31/25 4347 15
일반
새해 복 많이 받으세요
ㅇㅇ
12/31/25
6774
47
새해 복 많이 받으세요
일반
ㅇㅇ
12/31/25 6774 47
일반
번통사고 처음이야...
maha1004
12/27/25
23965
110
번통사고 처음이야...
일반
maha1004
12/27/25 23965 110
일반
언홀리 메이든 모드 추가함
아르
12/26/25
11945
52
언홀리 메이든 모드 추가함
일반
아르
12/26/25 11945 52
일반
(ai번역,자막만)【시니시스타 2 음성 작품】 청렴한 시스터 하냐의 치료와 고난
kelifa7002
12/25/25
7886
26
(ai번역,자막만)【시니시스타 2 음성 작품】 청렴한 시스터 하냐의 치료와 고난
일반
kelifa7002
12/25/25 7886 26
일반
본인 크리스마스 이브 근황...jpg
앙카보지섹스
12/23/25
11513
39
본인 크리스마스 이브 근황...jpg
일반
앙카보지섹스
12/23/25 11513 39
일반
언홀리메이든 지도 다 만듦
yuri88
12/21/25
20278
64
언홀리메이든 지도 다 만듦
일반
yuri88
12/21/25 20278 64
일반
음 이번 시니시스타 번역한사람
쩝냡
12/20/25
10599
16
음 이번 시니시스타 번역한사람
일반
쩝냡
12/20/25 10599 16
일반
답답하면 내가한다가 맞는거 같음
qwfle98jq9
12/20/25
9255
27
답답하면 내가한다가 맞는거 같음
일반
qwfle98jq9
12/20/25 9255 27
일반
언홀리 메이든 지도 만들어보고 있는데
yuri88
12/19/25
17320
23
언홀리 메이든 지도 만들어보고 있는데
일반
yuri88
12/19/25 17320 23
일반
NTRMAN 작품 정리
개구리
12/19/25
9027
20
NTRMAN 작품 정리
일반
개구리
12/19/25 9027 20
일반
젠장 언홀메 이 스크립트는 도대체 뭐냐!!!!!!!!!!!
NTR에서 순애를 찾는 사람
12/19/25
9671
28
젠장 언홀메 이 스크립트는 도대체 뭐냐!!!!!!!!!!!
일반
NTR에서 순애를 찾는 사람
12/19/25 9671 28
일반
갑자기 언홀리 메이든 ai 떡밥은 걍 어이가없네 ㅋㅋ
nhim2
12/18/25
15342
27
갑자기 언홀리 메이든 ai 떡밥은 걍 어이가없네 ㅋㅋ
일반
nhim2
12/18/25 15342 27
일반
힘내 소붕이들..
셧다운
12/16/25
16457
107
힘내 소붕이들..
일반
셧다운
12/16/25 16457 107
일반
오늘 나온 스팀 야겜 개웃기네 ㅋㅋㅋㅋㅋ
hanbridge
12/11/25
12516
35
오늘 나온 스팀 야겜 개웃기네 ㅋㅋㅋㅋㅋ
일반
hanbridge
12/11/25 12516 35
일반
내가 맛있게 먹는 이 게임을 궁금해하는 소붕이들이 많은 관계로 뉴비들 공략글 다른 커뮤에서 들고옴
엔코도앙코르
12/10/25
38393
15
내가 맛있게 먹는 이 게임을 궁금해하는 소붕이들이 많은 관계로 뉴비들 공략글 다른 커뮤에서 들고옴
일반
엔코도앙코르
12/10/25 38393 15
일반
이런 게임 공유하면 할 사람 있나?
하이호실버
12/08/25
5517
20
이런 게임 공유하면 할 사람 있나?
일반
하이호실버
12/08/25 5517 20
일반
아 쉬발 연말이라 바쁜데
미스터장
12/07/25
8820
35
아 쉬발 연말이라 바쁜데
일반
미스터장
12/07/25 8820 35
일반
식질하는애들에게 존나 고마운점
ㅇㅇ
12/04/25
8635
32
식질하는애들에게 존나 고마운점
일반
ㅇㅇ
12/04/25 8635 32
일반
요청 양식 좀 지켜 이 자식들아!!!
노아선배
12/02/25
6471
23
요청 양식 좀 지켜 이 자식들아!!!
일반
노아선배
12/02/25 6471 23
일반
난생 처음 야겜 번역중인데 ai 진짜 무서움
iliiilii
12/01/25
8240
19
난생 처음 야겜 번역중인데 ai 진짜 무서움
일반
iliiilii
12/01/25 8240 19
일반
타츠마키로 이런 내용의 클론야짤 커미션 넣었음
superkiller123
11/26/25
2106
15
타츠마키로 이런 내용의 클론야짤 커미션 넣었음
일반
superkiller123
11/26/25 2106 15
일반
AI 오나사포 Perfect 번역 중...이긴한데
exusiai1224
11/25/25
4934
18
AI 오나사포 Perfect 번역 중...이긴한데
일반
exusiai1224
11/25/25 4934 18
일반
ai 소미누나 짭창고콘 출시
SK
11/23/25
14493
35
ai 소미누나 짭창고콘 출시
일반
SK
11/23/25 14493 35
일반
자꾸 깡계 가중처벌 이야기 나와서 생각해봄
ㅇㅇ
11/19/25
5116
20
자꾸 깡계 가중처벌 이야기 나와서 생각해봄
일반
ㅇㅇ
11/19/25 5116 20
일반
타락한 쿠노이치 실행 안되는 놈들 필독
asast323
11/18/25
4297
19
타락한 쿠노이치 실행 안되는 놈들 필독
일반
asast323
11/18/25 4297 19
일반
본인 지금껏 주장한 의견 간략정리, 이전 글에서 쓴 댓글들에 대한 의견 정리
미스터장
11/11/25
8512
80
본인 지금껏 주장한 의견 간략정리, 이전 글에서 쓴 댓글들에 대한 의견 정리
일반
미스터장
11/11/25 8512 80
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43