로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4678 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90672
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90672 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205080
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205080 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252881
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252881 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243508
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243508 -14
질문
키오스크 질문 입니다...
yaworld
05/22
2979
-2
키오스크 질문 입니다...
질문
yaworld
05/22 2979 -2
질문
진짜 답답해서 망가하나만 찾아줄사람
yesyesyes
05/22
2026
0
진짜 답답해서 망가하나만 찾아줄사람
질문
yesyesyes
05/22 2026 0
동인
[ai번역][Itaba Hiroshi] 자매들의 속사정 [p.203]
mybest
05/22
16663
50
[ai번역][Itaba Hiroshi] 자매들의 속사정 [p.203]
동인
mybest
05/22 16663 50
질문
요즘 fanza나 dlsite 상업지 립 어떻게 뜨는지 아는 사람?
ㅁㄴㅇㄹㅂㅈㄷㄱ
05/22
2425
1
요즘 fanza나 dlsite 상업지 립 어떻게 뜨는지 아는 사람?
질문
ㅁㄴㅇㄹㅂㅈㄷㄱ
05/22 2425 1
영상
[요청복구] [한글자막] 뉴 짱, 완전 타락 2편 ~이거, 네『원래』인격이야~ (0편~6편)
jeonwol
05/22
23988
113
[요청복구] [한글자막] 뉴 짱, 완전 타락 2편 ~이거, 네『원래』인격이야~ (0편~6편)
영상
jeonwol
05/22 23988 113
요청
[복구 요청] RJ01452526 이상적인 히키코모리 생활 1.1.6
burrow
05/22
4867
0
[복구 요청] RJ01452526 이상적인 히키코모리 생활 1.1.6
요청
burrow
05/22 4867 0
번역
비월선행록 1.29 개조버전 수정 알림
V
05/22
48632
301
비월선행록 1.29 개조버전 수정 알림
번역
V
05/22 48632 301
질문
게임 찾고있는데 긴가민가하네
오호홍조아용
05/22
1991
0
게임 찾고있는데 긴가민가하네
질문
오호홍조아용
05/22 1991 0
동인
(스압 약간털 요괴 체격차이) [Okuva] Onimara 오니마라
tawarahiryuu
05/22
16352
54
(스압 약간털 요괴 체격차이) [Okuva] Onimara 오니마라
동인
tawarahiryuu
05/22 16352 54
동인
정위치
에우리알레
05/22
13044
57
정위치
동인
에우리알레
05/22 13044 57
일반
사미다레 도대체 언제올리는거야
mmmp
05/22
3721
0
사미다레 도대체 언제올리는거야
일반
mmmp
05/22 3721 0
미번
[구매보급] RJ436659 히프노시스 레이무 v1.14
r4gsdrg
05/22
10618
31
[구매보급] RJ436659 히프노시스 레이무 v1.14
미번
r4gsdrg
05/22 10618 31
영상
[후원보급] U2hhbXVNTUQ 모음집
hannanas
05/22
19446
71
[후원보급] U2hhbXVNTUQ 모음집
영상
hannanas
05/22 19446 71
영상
TU1EdHlwZTg3 모음집 업데이트 알림
hannanas
05/22
17010
49
TU1EdHlwZTg3 모음집 업데이트 알림
영상
hannanas
05/22 17010 49
질문
itch 버전??
unleashedroom
05/22
1512
2
itch 버전??
질문
unleashedroom
05/22 1512 2
미번
(미번,구매보급,이종간)エクスタシーアリーナ～淫紋に封じられし最強剣姫～
kogi1966
05/22
11165
38
(미번,구매보급,이종간)エクスタシーアリーナ～淫紋に封じられし最強剣姫～
미번
kogi1966
05/22 11165 38
야짤
청아,버)의외로 꼴리는 상황
gpsel157
05/22
9570
23
청아,버)의외로 꼴리는 상황
야짤
gpsel157
05/22 9570 23
동인
[ai번역][Itaba Hiroshi] 여동생이랑 해버렸는데, 여동생 친구랑도 해버렸다. (p.201)
mybest
05/22
29402
71
[ai번역][Itaba Hiroshi] 여동생이랑 해버렸는데, 여동생 친구랑도 해버렸다. (p.201)
동인
mybest
05/22 29402 71
야짤
ai) spongbog
qpsjcb10
05/22
4497
10
ai) spongbog
야짤
qpsjcb10
05/22 4497 10
일반
이거 왜 깨져있지...
erica1004
05/22
1903
0
이거 왜 깨져있지...
일반
erica1004
05/22 1903 0
일반
그러고보니 비월선행록 레벨링설정잘못된거같은데
liberty
05/22
2235
1
그러고보니 비월선행록 레벨링설정잘못된거같은데
일반
liberty
05/22 2235 1
정보
The Censor DLC 5.27 배포 시작
네르이스
05/22
8604
26
The Censor DLC 5.27 배포 시작
정보
네르이스
05/22 8604 26
요청
[복구 요청] [RJ133220] TS마법소녀 나오! PLUS
thosewhowantslive
05/22
1884
1
[복구 요청] [RJ133220] TS마법소녀 나오! PLUS
요청
thosewhowantslive
05/22 1884 1
일반
빨리 사서 업로드 했네
Ghost
05/22
2167
2
빨리 사서 업로드 했네
일반
Ghost
05/22 2167 2
질문
토미에는 결혼하고 싶어 질문
bigdoldol2
05/22
2215
0
토미에는 결혼하고 싶어 질문
질문
bigdoldol2
05/22 2215 0
소리
[구매보급]【승리의 여신: 니케】ASMR - 저녁 하늘 아래, 너라는 첫 별과 함께【아니스 : 스타】한국어판
Seza
05/22
14992
151
[구매보급]【승리의 여신: 니케】ASMR - 저녁 하늘 아래, 너라는 첫 별과 함께【아니스 : 스타】한국어판
소리
Seza
05/22 14992 151
번역
[업데이트 안내] [itch버전] 존재감 없는 여동생과의 소박한 일상 1.1.1rev2 + 안드로이드 포함
kkkkkk0909
05/22
38487
160
[업데이트 안내] [itch버전] 존재감 없는 여동생과의 소박한 일상 1.1.1rev2 + 안드로이드 포함
번역
kkkkkk0909
05/22 38487 160
소리
[구매보급]【승리의 여신: 니케】ASMR - 한철 붉게 피어나는 마음【홍련】한국어판
Seza
05/22
14547
154
[구매보급]【승리의 여신: 니케】ASMR - 한철 붉게 피어나는 마음【홍련】한국어판
소리
Seza
05/22 14547 154
동인
[ai번역][Itaba Hiroshi] 강압적으로 들이대는 모성 넘치는 호나미 씨 [p.201]
mybest
05/22
14244
45
[ai번역][Itaba Hiroshi] 강압적으로 들이대는 모성 넘치는 호나미 씨 [p.201]
동인
mybest
05/22 14244 45
후기 및 공략
신참 시스터 리티시아 후기
rhdqordjqtsms
05/22
3796
9
신참 시스터 리티시아 후기
후기 및 공략
rhdqordjqtsms
05/22 3796 9
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43