로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4576 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60597
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60597 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90594
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90594 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204966
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204966 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252761
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252761 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243362
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243362 -14
동인
(미번 노모) [Usagi Nagomu] 황혼의 창엘프 9 : 타락 5
macross7
05/24
15235
35
(미번 노모) [Usagi Nagomu] 황혼의 창엘프 9 : 타락 5
동인
macross7
05/24 15235 35
동인
(미번 노모) [Karube Guri] 이 섹스는 연기입니다 2
macross7
05/24
10704
23
(미번 노모) [Karube Guri] 이 섹스는 연기입니다 2
동인
macross7
05/24 10704 23
야짤
[방주 알림] 멸망 방주 글 삭제 사유
ㅇㅇ
05/24
10308
62
[방주 알림] 멸망 방주 글 삭제 사유
야짤
ㅇㅇ
05/24 10308 62
번역
[공식번역][스팀][노모] 카린의 형무소 Karryn's Prison ver1.3.1.69 all DLC
문명
05/24
30833
249
[공식번역][스팀][노모] 카린의 형무소 Karryn's Prison ver1.3.1.69 all DLC
번역
문명
05/24 30833 249
정보
[시모바시라 공방] 「마장영희 셀레녹시아」 제작 보고 71 - 차이점 제작!
날개 로봇
05/24
7979
48
[시모바시라 공방] 「마장영희 셀레녹시아」 제작 보고 71 - 차이점 제작!
정보
날개 로봇
05/24 7979 48
번역
[청아](번역+이미지번역) RJ141187 상복 로리타 구속 기담 미소녀 노예 조교 완전 한글판
ilillilllilil
05/24
38933
220
[청아](번역+이미지번역) RJ141187 상복 로리타 구속 기담 미소녀 노예 조교 완전 한글판
번역
ilillilllilil
05/24 38933 220
야짤
쩍벌
duckuu12
05/24
9359
25
쩍벌
야짤
duckuu12
05/24 9359 25
미번
[구매보급]RJ01603334 僕の悲惨人生～初恋編～
stringa
05/24
11765
52
[구매보급]RJ01603334 僕の悲惨人生～初恋編～
미번
stringa
05/24 11765 52
미번
[미번] (RJ01586007)레이나와 그녀의 이상적인 동거
Madeon
05/24
7297
33
[미번] (RJ01586007)레이나와 그녀의 이상적인 동거
미번
Madeon
05/24 7297 33
미번
구매보급, 청아) 이타즈러브 후속작, 시이코러브
dashorn
05/24
8786
31
구매보급, 청아) 이타즈러브 후속작, 시이코러브
미번
dashorn
05/24 8786 31
유틸
FORTUNE BRIDE ~절정개안의 의식~ 노모 패치
미스터장
05/24
6452
33
FORTUNE BRIDE ~절정개안의 의식~ 노모 패치
유틸
미스터장
05/24 6452 33
야짤
93. AI, 샤니마스) 카호로 짤 제작 실험
miso5
05/24
6406
32
93. AI, 샤니마스) 카호로 짤 제작 실험
야짤
miso5
05/24 6406 32
미번
알미오시온의 의술사 1.06
ashesone
05/24
23234
118
알미오시온의 의술사 1.06
미번
ashesone
05/24 23234 118
동인
[ai번역] [Hatoya Mameshichi] 동경하던 그녀(선생님)는 치한전차에서 조교완료 되었습니다 6~8 [p.469]
mybest
05/24
13513
28
[ai번역] [Hatoya Mameshichi] 동경하던 그녀(선생님)는 치한전차에서 조교완료 되었습니다 6~8 [p.469]
동인
mybest
05/24 13513 28
후기 및 공략
던전 위드걸 NTR 요소 및 발생조건 정리해 보았음
웃흥
05/24
5705
24
던전 위드걸 NTR 요소 및 발생조건 정리해 보았음
후기 및 공략
웃흥
05/24 5705 24
동인
직번) [Yamamoto Zenzen] 학원원교일기 Comix 2.5화 + 3화
qlalfsla
05/24
15864
63
직번) [Yamamoto Zenzen] 학원원교일기 Comix 2.5화 + 3화
동인
qlalfsla
05/24 15864 63
동인
구매보급) 【한국어판】악마에게 씌어 있다고 믿는 후타나리 성직자 소녀
GOOD
05/23
22133
139
구매보급) 【한국어판】악마에게 씌어 있다고 믿는 후타나리 성직자 소녀
동인
GOOD
05/23 22133 139
번역
90일, 이미지 번역) RJ141187 상복 로리타 구속 기담 미소녀 성 노예 조교
ㅇㅇ
05/23
36623
280
90일, 이미지 번역) RJ141187 상복 로리타 구속 기담 미소녀 성 노예 조교
번역
ㅇㅇ
05/23 36623 280
미번
[구매보급] RJ01634952 Taboo Spell
cassett
05/23
14564
108
[구매보급] RJ01634952 Taboo Spell
미번
cassett
05/23 14564 108
복구
[요청복구] RJ01282013 LabSweeper 도로시의 비밀 연구 기록
생_선
05/23
18629
49
[요청복구] RJ01282013 LabSweeper 도로시의 비밀 연구 기록
복구
생_선
05/23 18629 49
야짤
ai) 블루아카이브 리오 / 하스미
Ghost
05/23
5726
22
ai) 블루아카이브 리오 / 하스미
야짤
Ghost
05/23 5726 22
번역
[AI번역]RJ01304151 마법창녀 리스테일 ~싹트는 음란의 씨앗~
gaymaster
05/23
44882
263
[AI번역]RJ01304151 마법창녀 리스테일 ~싹트는 음란의 씨앗~
번역
gaymaster
05/23 44882 263
영상
야심한 새벽 에바네시아
a27627142
05/23
19556
83
야심한 새벽 에바네시아
영상
a27627142
05/23 19556 83
영상
[アブジャン] わたしは通うビッチ-売・春-
greenwow
05/23
19394
98
[アブジャン] わたしは通うビッチ-売・春-
영상
greenwow
05/23 19394 98
동인
청아, AI번역) [arumamai ayuka plus] 「풍기위원 예속 앰플 갱생 계획」
GGmen
05/23
19700
55
청아, AI번역) [arumamai ayuka plus] 「풍기위원 예속 앰플 갱생 계획」
동인
GGmen
05/23 19700 55
야짤
ai) 블루아카이브 아루 / 나기
Ghost
05/23
6825
25
ai) 블루아카이브 아루 / 나기
야짤
Ghost
05/23 6825 25
동인
청아, AI번역) [arumamai ayuka plus] 「최면에 걸린 오빠는 여동생의 자위 도구가 되었습니다」
GGmen
05/23
23228
122
청아, AI번역) [arumamai ayuka plus] 「최면에 걸린 오빠는 여동생의 자위 도구가 되었습니다」
동인
GGmen
05/23 23228 122
야짤
ai) 블루아카이브 캐릭터
Ghost
05/23
4376
17
ai) 블루아카이브 캐릭터
야짤
Ghost
05/23 4376 17
동인
청아, AI번역) [arumamai ayuka plus] 「메스가키 수녀 니나쨩」
GGmen
05/23
19175
103
청아, AI번역) [arumamai ayuka plus] 「메스가키 수녀 니나쨩」
동인
GGmen
05/23 19175 103
동인
(손번역)Mmchair-베로츄를 좋아하는 메이짱 미번 번역
k8625
05/23
24658
180
(손번역)Mmchair-베로츄를 좋아하는 메이짱 미번 번역
동인
k8625
05/23 24658 180
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43