로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4647 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90645
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90645 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205045
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205045 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252847
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252847 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243477
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243477 -14
정보
당근 새끼 제작근황 ㅋㅋㅋㅋㅋㅋㅋ
여동생킬러
05/01
14899
31
당근 새끼 제작근황 ㅋㅋㅋㅋㅋㅋㅋ
정보
여동생킬러
05/01 14899 31
미번
[미번, 복구]アナル触手ゲーム 捕らえた魔法使いのケツ穴で卵を育てろ!!
ruel-x
05/01
16830
38
[미번, 복구]アナル触手ゲーム 捕らえた魔法使いのケツ穴で卵を育てろ!!
미번
ruel-x
05/01 16830 38
소리
【유부녀 음란 보지 네토리】 연애 풍속 diary 유부녀 바니걸 소프 아가씨 미츠하의 덥수룩한 음모 보지
shiroi
05/01
14113
100
【유부녀 음란 보지 네토리】 연애 풍속 diary 유부녀 바니걸 소프 아가씨 미츠하의 덥수룩한 음모 보지
소리
shiroi
05/01 14113 100
번역
[기번] RJ01310014 Caught a Cat Miko! ~Live2D Tentacle Game
FGFFG0829
05/01
47102
144
[기번] RJ01310014 Caught a Cat Miko! ~Live2D Tentacle Game
번역
FGFFG0829
05/01 47102 144
영상
[후타] 프리렌 & 아우라
브레머튼
05/01
29900
129
[후타] 프리렌 & 아우라
영상
브레머튼
05/01 29900 129
영상
[충간] 벨 & 니콜 & 비비안 - 비치 파티
브레머튼
05/01
16396
61
[충간] 벨 & 니콜 & 비비안 - 비치 파티
영상
브레머튼
05/01 16396 61
미번
[미번/구매보급] 사랑하는 선생님에게 젖꼭지 고문당하는 소녀 (愛しの先生に乳首責めされちゃう女の子)
nxsolo
05/01
15511
42
[미번/구매보급] 사랑하는 선생님에게 젖꼭지 고문당하는 소녀 (愛しの先生に乳首責めされちゃう女の子)
미번
nxsolo
05/01 15511 42
일반
염월선행록 한패 나올 때 까지 숨 참는다
nxsolo
05/01
7795
34
염월선행록 한패 나올 때 까지 숨 참는다
일반
nxsolo
05/01 7795 34
번역
[AI번역/이미지번역] 마도사 카나데의 후타나리 던전 Quest V1.2 KOR
jpjp112
05/01
48958
233
[AI번역/이미지번역] 마도사 카나데의 후타나리 던전 Quest V1.2 KOR
번역
jpjp112
05/01 48958 233
번역
(AI번역,미검수)(후타나리, 펨보이, 후타나리 NTR) Futa Familly 0.245
Onko
05/01
44565
116
(AI번역,미검수)(후타나리, 펨보이, 후타나리 NTR) Futa Familly 0.245
번역
Onko
05/01 44565 116
소리
[구매보급][한국어 자막판][지뢰계×러브러브×신음]병들고 연약한 아리아짱에게 무너지다. 언제 어디서든지 러브러브한 섹스
민초드래곤
05/01
8794
86
[구매보급][한국어 자막판][지뢰계×러브러브×신음]병들고 연약한 아리아짱에게 무너지다. 언제 어디서든지 러브러브한 섹스
소리
민초드래곤
05/01 8794 86
정보
염월선행록 하는 법
mdabedlehm
05/01
12573
21
염월선행록 하는 법
정보
mdabedlehm
05/01 12573 21
동인
[Sevengar] 갈색 쿨계 코스녀, 감사제 후 반성 벌칙 섹스
ll사사라ll
05/01
26968
92
[Sevengar] 갈색 쿨계 코스녀, 감사제 후 반성 벌칙 섹스
동인
ll사사라ll
05/01 26968 92
미번
[미번/번역요청] 야리나리 ヤリたければ、ナリあがれ! RJ01249935
rlans
05/01
9805
52
[미번/번역요청] 야리나리 ヤリたければ、ナリあがれ! RJ01249935
미번
rlans
05/01 9805 52
영상
mmd 자작 영상
pst0025
05/01
14665
59
mmd 자작 영상
영상
pst0025
05/01 14665 59
정보
사이클론 신작 게임 정보 간단요약
ㅇㅇ
05/01
9938
31
사이클론 신작 게임 정보 간단요약
정보
ㅇㅇ
05/01 9938 31
동인
[ai번역]ムチ肉ヘブンでパンパンパン + イラストカード
doumaro
05/01
23108
65
[ai번역]ムチ肉ヘブンでパンパンパン + イラストカード
동인
doumaro
05/01 23108 65
정보
야앵기담 근황
sorbe123
05/01
5446
17
야앵기담 근황
정보
sorbe123
05/01 5446 17
동인
[ai번역]あなた…ごめんね。私…ホントの幸せ見つけちゃった。
doumaro
05/01
20557
48
[ai번역]あなた…ごめんね。私…ホントの幸せ見つけちゃった。
동인
doumaro
05/01 20557 48
동인
[ai번역]KNUCKLE HEAD寝取られ人妻総集編
doumaro
05/01
17140
66
[ai번역]KNUCKLE HEAD寝取られ人妻総集編
동인
doumaro
05/01 17140 66
동인
(미번, AI, NTR) [Shirokurosuki] 포니테일쨩은 애널에 지지않아! 1, 2
츠바키미유
05/01
18260
35
(미번, AI, NTR) [Shirokurosuki] 포니테일쨩은 애널에 지지않아! 1, 2
동인
츠바키미유
05/01 18260 35
영상
minus8) 효과음 추가
rlans
05/01
21917
89
minus8) 효과음 추가
영상
rlans
05/01 21917 89
영상
[SG9seUNjQ2M=] Your Secret Memory 01~12
류제로
05/01
23950
87
[SG9seUNjQ2M=] Your Secret Memory 01~12
영상
류제로
05/01 23950 87
복구
90일, 2.24 GB, 본문 참조, 추가 복구 없음) FZ d_728516
ㅇㅇ
04/30
26922
60
90일, 2.24 GB, 본문 참조, 추가 복구 없음) FZ d_728516
복구
ㅇㅇ
04/30 26922 60
동인
[ai번역]クール系年上バリキャリ彼女 尊厳破壊和姦 1-2
doumaro
04/30
15758
51
[ai번역]クール系年上バリキャリ彼女 尊厳破壊和姦 1-2
동인
doumaro
04/30 15758 51
동인
[ai번역]Ibitsu Seiso na Yowa Ki Kanojo Gouin Motokare ni Netorareru_. _ Una ragazza pura ma infedele
doumaro
04/30
21685
56
[ai번역]Ibitsu Seiso na Yowa Ki Kanojo Gouin Motokare ni Netorareru_. _ Una ragazza pura ma infedele
동인
doumaro
04/30 21685 56
동인
[ai번역]Boku no Suki na Kyonyuu Osananajimi ga Charao Senpai no Kanojo ni Natta Hi 2（ai翻译）
doumaro
04/30
9431
25
[ai번역]Boku no Suki na Kyonyuu Osananajimi ga Charao Senpai no Kanojo ni Natta Hi 2（ai翻译）
동인
doumaro
04/30 9431 25
동인
[ai번역]Boku no Suki na Kyonyuu Osananajimi ga Charao Senpai no Kanojo ni Natta Hi
doumaro
04/30
15927
24
[ai번역]Boku no Suki na Kyonyuu Osananajimi ga Charao Senpai no Kanojo ni Natta Hi
동인
doumaro
04/30 15927 24
동인
[ai번역]Yokyuu Fuman na Hitozuma ga Gym de Shiriatta Wakai Otoko ni Netorareru Hanashi _ 欲求不滿的人妻被健身房認識的年輕男人強睡奪走的故事
doumaro
04/30
15396
36
[ai번역]Yokyuu Fuman na Hitozuma ga Gym de Shiriatta Wakai Otoko ni Netorareru Hanashi _ 欲求不滿的人妻被健身房認識的年輕男人強睡奪走的故事
동인
doumaro
04/30 15396 36
동인
[ai번역]ojousama senshi nooburu ~icharabu sais○ nante ariemasen wa~
doumaro
04/30
27705
86
[ai번역]ojousama senshi nooburu ~icharabu sais○ nante ariemasen wa~
동인
doumaro
04/30 27705 86
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43