로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4653 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90651
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90651 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205051
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205051 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252856
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252856 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243490
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243490 -14
미번
[요청 복구] 마망즈콜로세움(미번)
Tladitlrekdtkfkdgo
05/17
15269
20
[요청 복구] 마망즈콜로세움(미번)
미번
Tladitlrekdtkfkdgo
05/17 15269 20
영상
[5/17] 신춘특집 2부
브레머튼
05/17
17230
109
[5/17] 신춘특집 2부
영상
브레머튼
05/17 17230 109
소리
[구매보급][성십자 오호 목소리】○리시스터, 에치치치 광선에 패배~욕구해방 절정짝짓기
이름뭐하지
05/17
14777
61
[구매보급][성십자 오호 목소리】○리시스터, 에치치치 광선에 패배~욕구해방 절정짝짓기
소리
이름뭐하지
05/17 14777 61
소리
[요청복구] [후타나리,역ㅇㄴ] 고귀한 수인족 후타나리 여왕님의 열등 종족 마조펫화 조교
summer4552
05/17
13837
38
[요청복구] [후타나리,역ㅇㄴ] 고귀한 수인족 후타나리 여왕님의 열등 종족 마조펫화 조교
소리
summer4552
05/17 13837 38
미번
미번/버전업 RJ01594150 皆が僕をバカにして！
humansari
05/17
20025
29
미번/버전업 RJ01594150 皆が僕をバカにして！
미번
humansari
05/17 20025 29
동인
Tsukako 평소와 같은 옥상
SK
05/17
14178
73
Tsukako 평소와 같은 옥상
동인
SK
05/17 14178 73
번역
자작) 사토리 오나서포 + tts추가
tutu32323
05/17
37557
168
자작) 사토리 오나서포 + tts추가
번역
tutu32323
05/17 37557 168
야짤
(보테배) riboshika 신작 1만 다운로드 감사짤
츠바키미유
05/17
8031
22
(보테배) riboshika 신작 1만 다운로드 감사짤
야짤
츠바키미유
05/17 8031 22
미번
[미번/구매보급/번역요청] 라파푸루 합본팩 (게임이름 및 번호들은 본문기재)
silver
05/17
12707
27
[미번/구매보급/번역요청] 라파푸루 합본팩 (게임이름 및 번호들은 본문기재)
미번
silver
05/17 12707 27
작업현황
음해의 트랜스크랩 번역 현황
날개 로봇
05/17
9546
41
음해의 트랜스크랩 번역 현황
작업현황
날개 로봇
05/17 9546 41
동인
[Homunculus/노모] 봄을 쫒다
ㅇㅇ
05/17
18731
104
[Homunculus/노모] 봄을 쫒다
동인
ㅇㅇ
05/17 18731 104
복구
[요청복구] 요청복구 3개
illusia
05/17
24849
62
[요청복구] 요청복구 3개
복구
illusia
05/17 24849 62
야짤
AI, 마비노기) 목욕중인 나오 소환하기
miso5
05/17
9502
58
AI, 마비노기) 목욕중인 나오 소환하기
야짤
miso5
05/17 9502 58
영상
[한글자막] 건방진 년에게 강제 최면 펠라치오 받기
실루엣21
05/17
51236
314
[한글자막] 건방진 년에게 강제 최면 펠라치오 받기
영상
실루엣21
05/17 51236 314
미번
구매보급) RJ01433695 성스러운 화신
youcause
05/17
16116
74
구매보급) RJ01433695 성스러운 화신
미번
youcause
05/17 16116 74
소리
[보이스코믹][자작][한] 최면학원풍속 -시노미야 안나편-
vereeeev
05/17
17913
128
[보이스코믹][자작][한] 최면학원풍속 -시노미야 안나편-
소리
vereeeev
05/17 17913 128
야짤
ai, 명조) 휴일에 젠니와 잔뜩 사랑을 나누었다
kjh9304
05/17
9143
91
ai, 명조) 휴일에 젠니와 잔뜩 사랑을 나누었다
야짤
kjh9304
05/17 9143 91
소리
[구매보급][♡ 패배 마조 타락 보지♡] 전 아이돌 JK의 자지봉사 메이드 성활♪
이름뭐하지
05/17
14006
73
[구매보급][♡ 패배 마조 타락 보지♡] 전 아이돌 JK의 자지봉사 메이드 성활♪
소리
이름뭐하지
05/17 14006 73
동인
[AI번역][Date Roku]의붓 아버지의 성욕처리는 우리 3자매의 담당
부히히힛
05/17
56371
345
[AI번역][Date Roku]의붓 아버지의 성욕처리는 우리 3자매의 담당
동인
부히히힛
05/17 56371 345
동인
nt레보 사키코 불륜사정 if 무심코 남자들에게 딸감 만들어 버리는 사키코 씨
1Q2W3E4R
05/17
27879
63
nt레보 사키코 불륜사정 if 무심코 남자들에게 딸감 만들어 버리는 사키코 씨
동인
1Q2W3E4R
05/17 27879 63
야짤
AI)오늘의 한요일은 코자다
kifbodo245
05/16
12688
52
AI)오늘의 한요일은 코자다
야짤
kifbodo245
05/16 12688 52
영상
치사와 함께 보내는 밤 (명조)
브레머튼
05/16
14341
113
치사와 함께 보내는 밤 (명조)
영상
브레머튼
05/16 14341 113
동인
직번) [Misaki (Zuuga)] 거유 수녀 너무 허접암컷이잖아ㅋㅋ
sgdvl
05/16
38533
276
직번) [Misaki (Zuuga)] 거유 수녀 너무 허접암컷이잖아ㅋㅋ
동인
sgdvl
05/16 38533 276
정보
Dilmur 0.21 출시 임박
Dilmur Reporter
05/16
14396
23
Dilmur 0.21 출시 임박
정보
Dilmur Reporter
05/16 14396 23
동인
Mafuyu 춘풍정 최음비화 1~3
SK
05/16
30478
153
Mafuyu 춘풍정 최음비화 1~3
동인
SK
05/16 30478 153
영상
청아)오네쇼타 이것저것 적당히 들고와봤습니다
마른안주
05/16
31871
95
청아)오네쇼타 이것저것 적당히 들고와봤습니다
영상
마른안주
05/16 31871 95
작업현황
좀더! 임신! 불꽃의 가슴 초 에로♡어플 학원! 스팀판 이식 25% 진행중
joyed47106
05/16
9393
33
좀더! 임신! 불꽃의 가슴 초 에로♡어플 학원! 스팀판 이식 25% 진행중
작업현황
joyed47106
05/16 9393 33
정보
던전 위드 걸 DLC 제작근황 + 신작 개발근황
kkkkkk0909
05/16
11255
66
던전 위드 걸 DLC 제작근황 + 신작 개발근황
정보
kkkkkk0909
05/16 11255 66
번역
타코린 사토리 카운트다운 오나서포
tutu32323
05/16
45622
191
타코린 사토리 카운트다운 오나서포
번역
tutu32323
05/16 45622 191
동인
[ai번역,미검수,NTR,QOS] [AI 작품 Renbocloud] 히나, 호시노, 후우카, 키사키 후편, 코유키, 히후미, 마리, 이즈나, 학원마스 카츠라기 릴리야
radori4141
05/16
34857
132
[ai번역,미검수,NTR,QOS] [AI 작품 Renbocloud] 히나, 호시노, 후우카, 키사키 후편, 코유키, 히후미, 마리, 이즈나, 학원마스 카츠라기 릴리야
동인
radori4141
05/16 34857 132
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43