로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4592 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60599
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60599 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90609
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90609 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204978
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204978 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252778
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252778 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243389
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243389 -14
동인
(일부직번) [Gagarin Kichi] 빼앗긴 폭유 아내 시리즈 -총집편-
kason
05/22
26046
129
(일부직번) [Gagarin Kichi] 빼앗긴 폭유 아내 시리즈 -총집편-
동인
kason
05/22 26046 129
동인
[ai번역][Itaba Hiroshi] 자매들의 속사정 [p.203]
mybest
05/22
16663
50
[ai번역][Itaba Hiroshi] 자매들의 속사정 [p.203]
동인
mybest
05/22 16663 50
영상
[요청복구] [한글자막] 뉴 짱, 완전 타락 2편 ~이거, 네『원래』인격이야~ (0편~6편)
jeonwol
05/22
23988
113
[요청복구] [한글자막] 뉴 짱, 완전 타락 2편 ~이거, 네『원래』인격이야~ (0편~6편)
영상
jeonwol
05/22 23988 113
번역
비월선행록 1.29 개조버전 수정 알림
V
05/22
48611
301
비월선행록 1.29 개조버전 수정 알림
번역
V
05/22 48611 301
동인
(스압 약간털 요괴 체격차이) [Okuva] Onimara 오니마라
tawarahiryuu
05/22
16352
54
(스압 약간털 요괴 체격차이) [Okuva] Onimara 오니마라
동인
tawarahiryuu
05/22 16352 54
동인
정위치
에우리알레
05/22
13020
57
정위치
동인
에우리알레
05/22 13020 57
미번
[구매보급] RJ436659 히프노시스 레이무 v1.14
r4gsdrg
05/22
10618
31
[구매보급] RJ436659 히프노시스 레이무 v1.14
미번
r4gsdrg
05/22 10618 31
영상
[후원보급] U2hhbXVNTUQ 모음집
hannanas
05/22
19431
71
[후원보급] U2hhbXVNTUQ 모음집
영상
hannanas
05/22 19431 71
영상
TU1EdHlwZTg3 모음집 업데이트 알림
hannanas
05/22
17008
49
TU1EdHlwZTg3 모음집 업데이트 알림
영상
hannanas
05/22 17008 49
미번
(미번,구매보급,이종간)エクスタシーアリーナ～淫紋に封じられし最強剣姫～
kogi1966
05/22
11165
38
(미번,구매보급,이종간)エクスタシーアリーナ～淫紋に封じられし最強剣姫～
미번
kogi1966
05/22 11165 38
야짤
청아,버)의외로 꼴리는 상황
gpsel157
05/22
9570
23
청아,버)의외로 꼴리는 상황
야짤
gpsel157
05/22 9570 23
동인
[ai번역][Itaba Hiroshi] 여동생이랑 해버렸는데, 여동생 친구랑도 해버렸다. (p.201)
mybest
05/22
29402
71
[ai번역][Itaba Hiroshi] 여동생이랑 해버렸는데, 여동생 친구랑도 해버렸다. (p.201)
동인
mybest
05/22 29402 71
정보
The Censor DLC 5.27 배포 시작
네르이스
05/22
8604
26
The Censor DLC 5.27 배포 시작
정보
네르이스
05/22 8604 26
소리
[구매보급]【승리의 여신: 니케】ASMR - 저녁 하늘 아래, 너라는 첫 별과 함께【아니스 : 스타】한국어판
Seza
05/22
14991
151
[구매보급]【승리의 여신: 니케】ASMR - 저녁 하늘 아래, 너라는 첫 별과 함께【아니스 : 스타】한국어판
소리
Seza
05/22 14991 151
번역
[업데이트 안내] [itch버전] 존재감 없는 여동생과의 소박한 일상 1.1.1rev2 + 안드로이드 포함
kkkkkk0909
05/22
38487
160
[업데이트 안내] [itch버전] 존재감 없는 여동생과의 소박한 일상 1.1.1rev2 + 안드로이드 포함
번역
kkkkkk0909
05/22 38487 160
소리
[구매보급]【승리의 여신: 니케】ASMR - 한철 붉게 피어나는 마음【홍련】한국어판
Seza
05/22
14547
154
[구매보급]【승리의 여신: 니케】ASMR - 한철 붉게 피어나는 마음【홍련】한국어판
소리
Seza
05/22 14547 154
동인
[ai번역][Itaba Hiroshi] 강압적으로 들이대는 모성 넘치는 호나미 씨 [p.201]
mybest
05/22
14243
45
[ai번역][Itaba Hiroshi] 강압적으로 들이대는 모성 넘치는 호나미 씨 [p.201]
동인
mybest
05/22 14243 45
야짤
ai, 원신) 클로린드를 함락시키기 위한 결투를 신청했다
kjh9304
05/22
8565
89
ai, 원신) 클로린드를 함락시키기 위한 결투를 신청했다
야짤
kjh9304
05/22 8565 89
미번
[미번,구매보급,이종간,번역요청] 姫騎士エレーナ-淫欲のダンジョンに囚われて-(RJ01626482)
gumjeongpan
05/22
19228
100
[미번,구매보급,이종간,번역요청] 姫騎士エレーナ-淫欲のダンジョンに囚われて-(RJ01626482)
미번
gumjeongpan
05/22 19228 100
미번
[구매보급/번역요청][청아/출산/충간] RJ01630058)시골의 돈 낚시
flatune
05/22
21476
88
[구매보급/번역요청][청아/출산/충간] RJ01630058)시골의 돈 낚시
미번
flatune
05/22 21476 88
동인
치안 붕괴!! 여경은 목숨 구걸 아부 육변기 Chian Houkai!! Fukei-san wa Inochigoi Sontaku Nikubenki
shiroi
05/22
33760
175
치안 붕괴!! 여경은 목숨 구걸 아부 육변기 Chian Houkai!! Fukei-san wa Inochigoi Sontaku Nikubenki
동인
shiroi
05/22 33760 175
동인
[ai번역][Itaba Hiroshi] Shinseki Midara My Home Harem 음란한 친척 내집 하렘 [p.227]
mybest
05/22
17692
66
[ai번역][Itaba Hiroshi] Shinseki Midara My Home Harem 음란한 친척 내집 하렘 [p.227]
동인
mybest
05/22 17692 66
번역
[ai번역][완결][한글패치만] Downfall: A Story of Corruption [v0.16.0]
aahit
05/22
24724
87
[ai번역][완결][한글패치만] Downfall: A Story of Corruption [v0.16.0]
번역
aahit
05/22 24724 87
소리
[보이스 코믹][한글 자막]따끈 따끈한 흑갸루 오네쇼타
ghkdw
05/21
12458
129
[보이스 코믹][한글 자막]따끈 따끈한 흑갸루 오네쇼타
소리
ghkdw
05/21 12458 129
정보
청아]개씹 도트갓겜발매라서 봐봤는데 ㅋㅋㅋㅋㅋㅋ
여동생킬러
05/21
18535
30
청아]개씹 도트갓겜발매라서 봐봤는데 ㅋㅋㅋㅋㅋㅋ
정보
여동생킬러
05/21 18535 30
소리
[구매보급]수수하고 소극적인 도서위원인 줄 알았는데,발정하면 오호교미하는 여자였다
이름뭐하지
05/21
8215
47
[구매보급]수수하고 소극적인 도서위원인 줄 알았는데,발정하면 오호교미하는 여자였다
소리
이름뭐하지
05/21 8215 47
동인
[Higenamuchi] 카츠라씨의 일상 성활 (NTR)
질겨찾기
05/21
17078
57
[Higenamuchi] 카츠라씨의 일상 성활 (NTR)
동인
질겨찾기
05/21 17078 57
후기 및 공략
야겜뉴비의 매우 주관적인 게임 한 줄 평과 평점 모음 1탄
pegets
05/21
12630
32
야겜뉴비의 매우 주관적인 게임 한 줄 평과 평점 모음 1탄
후기 및 공략
pegets
05/21 12630 32
번역
[청아][번역][모자파괴] 이타즈러브 - 인적 없는 공원에서 소녀와 사랑을 키우자
ilillilllilil
05/21
40539
259
[청아][번역][모자파괴] 이타즈러브 - 인적 없는 공원에서 소녀와 사랑을 키우자
번역
ilillilllilil
05/21 40539 259
동인
[Danimaru/노모] 하룻밤 재워줄래, 오타쿠 군♥
ㅇㅇ
05/21
36298
261
[Danimaru/노모] 하룻밤 재워줄래, 오타쿠 군♥
동인
ㅇㅇ
05/21 36298 261
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43