로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4608 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60603
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60603 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90632
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90632 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205021
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205021 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252814
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252814 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243429
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243429 -14
유틸
[노모파일, AI] 파치몬 -8bit MONSTER-
soxocel777
04/29
20411
56
[노모파일, AI] 파치몬 -8bit MONSTER-
유틸
soxocel777
04/29 20411 56
영상
[야애니/알림] 음오옥 똰지 3~4화 업 알림
공승아
04/29
19314
44
[야애니/알림] 음오옥 똰지 3~4화 업 알림
영상
공승아
04/29 19314 44
소리
(구매보급/자막판) 3종 영역전개
Ghost
04/29
22113
108
(구매보급/자막판) 3종 영역전개
소리
Ghost
04/29 22113 108
영상
4월 영상 2개 [FHD] (누드버전)
브레머튼
04/29
21862
107
4월 영상 2개 [FHD] (누드버전)
영상
브레머튼
04/29 21862 107
동인
[Okinaga Umanosuke] 좀도둑 유부녀 참교육하는 이야기
ㅇㅇ
04/29
36908
111
[Okinaga Umanosuke] 좀도둑 유부녀 참교육하는 이야기
동인
ㅇㅇ
04/29 36908 111
소리
(구매보급) 【한국어 자막판】 인큐버스 제국의 NTR 정책 - 느긋한 아내 편 -
Ghost
04/29
17014
73
(구매보급) 【한국어 자막판】 인큐버스 제국의 NTR 정책 - 느긋한 아내 편 -
소리
Ghost
04/29 17014 73
동인
[Doji Ro] 앗군 싫어!
ㅇㅇ
04/29
45663
178
[Doji Ro] 앗군 싫어!
동인
ㅇㅇ
04/29 45663 178
동인
[Homunculus] 봄을 쫒다
ㅇㅇ
04/29
31070
113
[Homunculus] 봄을 쫒다
동인
ㅇㅇ
04/29 31070 113
영상
오타쿠인 내가 일진 갸루와 사귀기까지의 이야기 ONA 1화
argoklarke
04/29
30752
185
오타쿠인 내가 일진 갸루와 사귀기까지의 이야기 ONA 1화
영상
argoklarke
04/29 30752 185
영상
루시아 - 새로운 발견 (ZZZ)
브레머튼
04/29
21332
91
루시아 - 새로운 발견 (ZZZ)
영상
브레머튼
04/29 21332 91
영상
[요청복구] 미궁도시 어사일럼 Motion Anime
argoklarke
04/29
25143
111
[요청복구] 미궁도시 어사일럼 Motion Anime
영상
argoklarke
04/29 25143 111
영상
[복구] 복구 영상 5개
브레머튼
04/29
23731
75
[복구] 복구 영상 5개
영상
브레머튼
04/29 23731 75
야짤
AI, 셀레스포니아) 아마네가 운동할 뿐인 짤
miso5
04/29
18398
64
AI, 셀레스포니아) 아마네가 운동할 뿐인 짤
야짤
miso5
04/29 18398 64
작업현황
Church of Disires 손번역 착수
sesv3030
04/29
9765
24
Church of Disires 손번역 착수
작업현황
sesv3030
04/29 9765 24
동인
직번)[Gonza] 옆집 유부녀(35) 〜나이 차이 따위(상)〜
dresss
04/29
26983
94
직번)[Gonza] 옆집 유부녀(35) 〜나이 차이 따위(상)〜
동인
dresss
04/29 26983 94
미번
RJ01603799 프린세스 티처! ~세상 물정 모르는 공주님과 다소 쓰레기 같은 가정교사~ Ver 1.1
제로콜라라이트
04/29
16167
67
RJ01603799 프린세스 티처! ~세상 물정 모르는 공주님과 다소 쓰레기 같은 가정교사~ Ver 1.1
미번
제로콜라라이트
04/29 16167 67
야짤
[AI] 요즘 AI 성능을 알아보자
highblue
04/29
13148
19
[AI] 요즘 AI 성능을 알아보자
야짤
highblue
04/29 13148 19
정보
스압] 암호화 게임파일 체크목록지
katress
04/29
13936
19
스압] 암호화 게임파일 체크목록지
정보
katress
04/29 13936 19
영상
야심한밤 메카미 시프티
a27627142
04/29
30655
113
야심한밤 메카미 시프티
영상
a27627142
04/29 30655 113
동인
[직번][Nako sir][하드플] 내 성벽을 엉망진창으로 만들어 놓고 결혼하는 전섹파와 섹스 이야기
qlkjrnd
04/29
61829
365
[직번][Nako sir][하드플] 내 성벽을 엉망진창으로 만들어 놓고 결혼하는 전섹파와 섹스 이야기
동인
qlkjrnd
04/29 61829 365
미번
[구매보급,번역요청] RJ437704 교장이니까!
wjdtpwls
04/29
13404
23
[구매보급,번역요청] RJ437704 교장이니까!
미번
wjdtpwls
04/29 13404 23
동인
Omocha Shoujo Mugen Zecchou ni Naku | 완구소녀 무한절정에 울다
yuoaijs
04/29
18067
66
Omocha Shoujo Mugen Zecchou ni Naku | 완구소녀 무한절정에 울다
동인
yuoaijs
04/29 18067 66
소리
[구매보급]섹스 전문가에게 섹스를 걸어버린 이야기
이름뭐하지
04/29
17531
75
[구매보급]섹스 전문가에게 섹스를 걸어버린 이야기
소리
이름뭐하지
04/29 17531 75
번역
[AI번역] 미오쨩의 여름방학
미식이네
04/29
40598
132
[AI번역] 미오쨩의 여름방학
번역
미식이네
04/29 40598 132
작업현황
애들 이름은 긴데 이름표 공간은 좁디좁다...이미지 번역 다듬는 중
argoklarke
04/29
9130
16
애들 이름은 긴데 이름표 공간은 좁디좁다...이미지 번역 다듬는 중
작업현황
argoklarke
04/29 9130 16
복구
90일) RJ01311424 [Akari Blast!] 후타리나X익스플로러-번역3차.rar
ㅇㅇ
04/29
20418
63
90일) RJ01311424 [Akari Blast!] 후타리나X익스플로러-번역3차.rar
복구
ㅇㅇ
04/29 20418 63
동인
(노모) [Tamabon] 어른이 되는 여름
없
04/29
58249
324
(노모) [Tamabon] 어른이 되는 여름
동인
없
04/29 58249 324
소리
【ハメ撮り動画追加チャンス?！】おちんぽ係に任命します！【5時間半】【ご入学おめでとうセット
정실은스쿨드
04/29
14693
96
【ハメ撮り動画追加チャンス?！】おちんぽ係に任命します！【5時間半】【ご入学おめでとうセット
소리
정실은스쿨드
04/29 14693 96
정보
길다,스압] json파일 암호화된 이유를 찾다가 알아낸 정보
katress
04/29
14542
32
길다,스압] json파일 암호화된 이유를 찾다가 알아낸 정보
정보
katress
04/29 14542 32
미번
[구매보급][번역요청] RJ01544753 モブ顔でドスケベボディなおねえちゃん 모브 얼굴인데 엄청 야한 몸매의 누나
Liye
04/29
12603
45
[구매보급][번역요청] RJ01544753 モブ顔でドスケベボディなおねえちゃん 모브 얼굴인데 엄청 야한 몸매의 누나
미번
Liye
04/29 12603 45
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43