로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4687 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60606
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60606 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90681
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90681 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205101
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205101 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252896
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252896 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243519
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243519 -14
영상
에밀리아 & 스바루 (리제로)
브레머튼
05/04
23729
117
에밀리아 & 스바루 (리제로)
영상
브레머튼
05/04 23729 117
영상
보지고등학교 시리즈
berryzz
05/04
41227
223
보지고등학교 시리즈
영상
berryzz
05/04 41227 223
동인
[미번/번역요청] 간판소녀 재정사정5 (과거편2)
parttime
05/04
10649
18
[미번/번역요청] 간판소녀 재정사정5 (과거편2)
동인
parttime
05/04 10649 18
미번
[미번][번역요청][이 파일은 감염되지 않았습니다] RJ01617050
돈을 잃고 있어요
05/04
14603
51
[미번][번역요청][이 파일은 감염되지 않았습니다] RJ01617050
미번
돈을 잃고 있어요
05/04 14603 51
야짤
AI, 셀레스포니아) 아마네 매춘 (스타킹)
miso5
05/04
13814
172
AI, 셀레스포니아) 아마네 매춘 (스타킹)
야짤
miso5
05/04 13814 172
동인
[미번/번역요청]동경하는 스승의 복제체 상대로 하고 싶었던거 전부 하는 이야기
아돌
05/04
10494
41
[미번/번역요청]동경하는 스승의 복제체 상대로 하고 싶었던거 전부 하는 이야기
동인
아돌
05/04 10494 41
복구
SAO NTR part1 복구글
햄댕이
05/04
17171
65
SAO NTR part1 복구글
복구
햄댕이
05/04 17171 65
영상
[5/4] 신학 & 감우 '돈 기브 업' SFX 버전 및 추가분
브레머튼
05/04
18052
145
[5/4] 신학 & 감우 '돈 기브 업' SFX 버전 및 추가분
영상
브레머튼
05/04 18052 145
동인
[노모][Yurishima shiro] 후우코와 도련님
qlkjrnd
05/04
33649
212
[노모][Yurishima shiro] 후우코와 도련님
동인
qlkjrnd
05/04 33649 212
소리
[구매보급]결혼 상대를 AI가 결정하는 세계에서 선택된 것은 엄청난 변태 여동생이었습니다.
이름뭐하지
05/04
11067
52
[구매보급]결혼 상대를 AI가 결정하는 세계에서 선택된 것은 엄청난 변태 여동생이었습니다.
소리
이름뭐하지
05/04 11067 52
동인
[노모][Dorozumi] 사랑은 굉음을 내며 속삭여라
qlkjrnd
05/04
25508
123
[노모][Dorozumi] 사랑은 굉음을 내며 속삭여라
동인
qlkjrnd
05/04 25508 123
후기 및 공략
시발 개 똥겜 좆같아서 쓴다.
doodkey
05/04
12502
34
시발 개 똥겜 좆같아서 쓴다.
후기 및 공략
doodkey
05/04 12502 34
야짤
AI+NTR) 금태양에게 뒷계정 걸린 마린
177523
05/04
11905
34
AI+NTR) 금태양에게 뒷계정 걸린 마린
야짤
177523
05/04 11905 34
번역
[AI패치][버전업] RJ01591409 구련휘정 퀄터 아르미네스 & 탄젤 5/5 패치 버전
rabthal
05/04
40384
123
[AI패치][버전업] RJ01591409 구련휘정 퀄터 아르미네스 & 탄젤 5/5 패치 버전
번역
rabthal
05/04 40384 123
유틸
배덕의 달콤함에 물든 마나카 FansChat 마개조 및 번역 모드 WIP Manaka
sco0815
05/04
12032
57
배덕의 달콤함에 물든 마나카 FansChat 마개조 및 번역 모드 WIP Manaka
유틸
sco0815
05/04 12032 57
후기 및 공략
대충 지금껏 해본 여주물 야겜들 간단 후기
estehr523
05/04
8246
16
대충 지금껏 해본 여주물 야겜들 간단 후기
후기 및 공략
estehr523
05/04 8246 16
정보
비월선행록 돌파재료 위치 텍스트번역
보바도사
05/04
11649
18
비월선행록 돌파재료 위치 텍스트번역
정보
보바도사
05/04 11649 18
번역
[이미지 번역] 구련휘정 쿠르타 아르미네스 & 탄젤 EG
나나바
05/04
31797
131
[이미지 번역] 구련휘정 쿠르타 아르미네스 & 탄젤 EG
번역
나나바
05/04 31797 131
번역
RJ01527385 이미지 번역 & 텍스트 일부 보완 패치
shdcd
05/04
45935
238
RJ01527385 이미지 번역 & 텍스트 일부 보완 패치
번역
shdcd
05/04 45935 238
정보
비월선행록 공략 텍스트로 번역
보바도사
05/04
19251
25
비월선행록 공략 텍스트로 번역
정보
보바도사
05/04 19251 25
작업현황
다시는 라데온을 무시하지 않겠습니다
argoklarke
05/04
8826
18
다시는 라데온을 무시하지 않겠습니다
작업현황
argoklarke
05/04 8826 18
미번
(업데이트 알림/요청복구) RJ01467184 마법소녀 루나와 나나미 ~ 악의 유전자를 잉태하는 모녀 ~ ver1.1.41
craven
05/04
10291
38
(업데이트 알림/요청복구) RJ01467184 마법소녀 루나와 나나미 ~ 악의 유전자를 잉태하는 모녀 ~ ver1.1.41
미번
craven
05/04 10291 38
동인
미번,Shuten Douji) 유부녀 죽이기 마안2 - 마을 진찰소의 여의사: 오다 야야(36)의 경우-
kjalar
05/04
10185
15
미번,Shuten Douji) 유부녀 죽이기 마안2 - 마을 진찰소의 여의사: 오다 야야(36)의 경우-
동인
kjalar
05/04 10185 15
동인
미번) 담임의 메이드가 되어버린 흑갸루 4
kjalar
05/04
12861
19
미번) 담임의 메이드가 되어버린 흑갸루 4
동인
kjalar
05/04 12861 19
영상
TU1EdHlwZTg3 모음집 업데이트어라이브 알림
hannanas
05/04
15160
49
TU1EdHlwZTg3 모음집 업데이트어라이브 알림
영상
hannanas
05/04 15160 49
동인
AI 딸깍 모음 [재미나이 API + 글록 AI] 여태것 내가 보기위해서 번역한것들
noname
05/04
12392
48
AI 딸깍 모음 [재미나이 API + 글록 AI] 여태것 내가 보기위해서 번역한것들
동인
noname
05/04 12392 48
번역
농)우리아이 판타지아 0.71.0 passfile 2,4
sngjw1kq
05/04
30587
60
농)우리아이 판타지아 0.71.0 passfile 2,4
번역
sngjw1kq
05/04 30587 60
번역
[AI번역,임시,일부검수] 음최도시 휴프노즘(이미지번역 포함) RJ01613299
saika
05/04
88448
370
[AI번역,임시,일부검수] 음최도시 휴프노즘(이미지번역 포함) RJ01613299
번역
saika
05/04 88448 370
미번
[구매보급] RJ01605274 외 1
gkqisq
05/04
14058
53
[구매보급] RJ01605274 외 1
미번
gkqisq
05/04 14058 53
번역
[손번역 Ver.0.20] Daily Lives My Countryside 0.3.4.3
감자떡사요
05/04
60281
257
[손번역 Ver.0.20] Daily Lives My Countryside 0.3.4.3
번역
감자떡사요
05/04 60281 257
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43