로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4501 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60550
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60550 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90546
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90546 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204522
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204522 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252656
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252656 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243254
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243254 -14
영상
TU1EdHlwZTg3 모음집 업데이트 알림
hannanas
05/27
6975
25
TU1EdHlwZTg3 모음집 업데이트 알림
영상
hannanas
05/27 6975 25
동인
스파이더그웬의 공식 설정 사건
k8625
05/27
7517
16
스파이더그웬의 공식 설정 사건
동인
k8625
05/27 7517 16
일반
비월선행록 또 버그있네...ㅠㅠ
하슬라임
05/27
607
0
비월선행록 또 버그있네...ㅠㅠ
일반
하슬라임
05/27 607 0
질문
Alicesoft 의 투신도시3 (미번)을 구했는데 혹시 제가 여기 올리면
froG
05/27
1142
3
Alicesoft 의 투신도시3 (미번)을 구했는데 혹시 제가 여기 올리면
질문
froG
05/27 1142 3
영상
[구매보급] 전자동 기계 조교 프로그램 Secretary [v1.1 의상 추가]
밤꽃향기 그윽한 어느 여름날..
05/27
8809
59
[구매보급] 전자동 기계 조교 프로그램 Secretary [v1.1 의상 추가]
영상
밤꽃향기 그윽한 어느 여름날..
05/27 8809 59
영상
[후원보급]bmFqYXI 텐카
pangya
05/27
7484
90
[후원보급]bmFqYXI 텐카
영상
pangya
05/27 7484 90
질문
혹시 게임에 전체 세이브 파일이 존재하면 그거 쓰는편? 아니면 직접 하는편?
kawineo
05/27
1261
1
혹시 게임에 전체 세이브 파일이 존재하면 그거 쓰는편? 아니면 직접 하는편?
질문
kawineo
05/27 1261 1
일반
FORTUNE BRIDE 완전 실력겜이네...
mannyeonmossol
05/27
1013
0
FORTUNE BRIDE 완전 실력겜이네...
일반
mannyeonmossol
05/27 1013 0
요청
[복구요청] 그녀의 발정 스위치 ASMR
dyfntlzk
05/27
1351
0
[복구요청] 그녀의 발정 스위치 ASMR
요청
dyfntlzk
05/27 1351 0
영상
[한글자막] 어째선지 같은 반 갸루들한테 열렬한 구애를 계속해서 받고 있는데, 나한텐 이미 좋아하는 애가 있다고!💢 (1편)
실루엣21
05/27
19625
183
[한글자막] 어째선지 같은 반 갸루들한테 열렬한 구애를 계속해서 받고 있는데, 나한텐 이미 좋아하는 애가 있다고!💢 (1편)
영상
실루엣21
05/27 19625 183
질문
의술사 맨날 질문해서 ㅈㅅㅎㅎ;
paddackmon
05/27
888
1
의술사 맨날 질문해서 ㅈㅅㅎㅎ;
질문
paddackmon
05/27 888 1
일반
어제 ntr 작품 하나 플레이 했는데 쉽지않더라..
Ayane
05/27
958
1
어제 ntr 작품 하나 플레이 했는데 쉽지않더라..
일반
Ayane
05/27 958 1
야짤
nts가 진정한 순애 아님?
qudo
05/27
2414
1
nts가 진정한 순애 아님?
야짤
qudo
05/27 2414 1
일반
쓸떼없는 수집욕구나 강박증때문에 개꼴리는 동인 작가들 이름 알파벳 순으로 정리하는 중임
d5d2d3d
05/27
778
1
쓸떼없는 수집욕구나 강박증때문에 개꼴리는 동인 작가들 이름 알파벳 순으로 정리하는 중임
일반
d5d2d3d
05/27 778 1
질문
소장의 욕망증 시리즈 엄청 많던데 뭐부터 하면 되나요?
fnzl77
05/27
1350
0
소장의 욕망증 시리즈 엄청 많던데 뭐부터 하면 되나요?
질문
fnzl77
05/27 1350 0
일반
나 솔직히 여기 비추 기준을 잘모르겠어ㅋㅋ
kawineo
05/27
1618
-43
나 솔직히 여기 비추 기준을 잘모르겠어ㅋㅋ
일반
kawineo
05/27 1618 -43
질문
시니시스타 모션 도트 수정할수있는 툴은 없나
추운북극곰
05/27
759
0
시니시스타 모션 도트 수정할수있는 툴은 없나
질문
추운북극곰
05/27 759 0
정보
어쩌다가 이런 사이트를 찾았는데
kawineo
05/27
3429
-11
어쩌다가 이런 사이트를 찾았는데
정보
kawineo
05/27 3429 -11
복구
너스콜(RJ01557970) 복구 및 만차율3(RJ01347095) 복구
그냥그냥
05/27
7646
38
너스콜(RJ01557970) 복구 및 만차율3(RJ01347095) 복구
복구
그냥그냥
05/27 7646 38
질문
샌드박스형 시뮬레이션 게임 추천 부탁드립니다.
asdmqwmle
05/27
779
0
샌드박스형 시뮬레이션 게임 추천 부탁드립니다.
질문
asdmqwmle
05/27 779 0
동인
(스압)Eonsang작가모음
k8625
05/27
15341
109
(스압)Eonsang작가모음
동인
k8625
05/27 15341 109
일반
당신은 인류멸망을 막기위해
에로탐구가
05/27
2297
-4
당신은 인류멸망을 막기위해
일반
에로탐구가
05/27 2297 -4
질문
마나카 수갑버그 이거 어떻게 해..?
별하늘에걸린다리
05/27
1144
0
마나카 수갑버그 이거 어떻게 해..?
질문
별하늘에걸린다리
05/27 1144 0
질문
[청아] 휴지끈 긴 챈럼 있나
harang123
05/27
1290
0
[청아] 휴지끈 긴 챈럼 있나
질문
harang123
05/27 1290 0
번역
[구매보급] [자체번역] RJ01117570 에로 검열관(the censor) 26.05.27
gkqisq
05/27
20656
106
[구매보급] [자체번역] RJ01117570 에로 검열관(the censor) 26.05.27
번역
gkqisq
05/27 20656 106
질문
비의 괴물 노모 버전도 있음?
rkstmd2580
05/27
1348
0
비의 괴물 노모 버전도 있음?
질문
rkstmd2580
05/27 1348 0
질문
유니티 게임 실행
afdergqrg
05/27
1546
0
유니티 게임 실행
질문
afdergqrg
05/27 1546 0
질문
(스포)의술사 퀘스트 중에 '수상한 여자' 이거 말인데
paddackmon
05/27
1751
0
(스포)의술사 퀘스트 중에 '수상한 여자' 이거 말인데
질문
paddackmon
05/27 1751 0
미번
DepraviA-SARIEL 체험판 2.28
포스아머
05/27
4406
13
DepraviA-SARIEL 체험판 2.28
미번
포스아머
05/27 4406 13
야짤
RJ01252162 손번역판만 있길래 그냥 AI 번역판 구함
kawineo
05/27
2171
1
RJ01252162 손번역판만 있길래 그냥 AI 번역판 구함
야짤
kawineo
05/27 2171 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43