로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4759 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60636
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60636 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90783
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90783 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205261
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205261 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253379
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253379 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243710
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243710 -14
동인
[AI번역+검수=노모 단행본] 온천 하렘 이야기+ 첫 경험 시스터즈
mybest
05/10
23946
106
[AI번역+검수=노모 단행본] 온천 하렘 이야기+ 첫 경험 시스터즈
동인
mybest
05/10 23946 106
동인
콜걸 아가씨는 본방은 안 해요!
hatlatal
05/10
26397
134
콜걸 아가씨는 본방은 안 해요!
동인
hatlatal
05/10 26397 134
동인
예능사무소에서 매니저했었을 적 담당했던 아이돌이 베개영업했는데 질문있어?
hatlatal
05/10
20569
57
예능사무소에서 매니저했었을 적 담당했던 아이돌이 베개영업했는데 질문있어?
동인
hatlatal
05/10 20569 57
동인
풍속에서 제자인 JK와 생삽입 절륜 섹스
hatlatal
05/10
21139
53
풍속에서 제자인 JK와 생삽입 절륜 섹스
동인
hatlatal
05/10 21139 53
동인
폭주여친은 발정기
hatlatal
05/10
15799
71
폭주여친은 발정기
동인
hatlatal
05/10 15799 71
야짤
ai, 블아) 야한 속옷을 입은 하스미와 질내사정 섹스 (수요 조사)
kjh9304
05/10
9586
118
ai, 블아) 야한 속옷을 입은 하스미와 질내사정 섹스 (수요 조사)
야짤
kjh9304
05/10 9586 118
번역
[강화버전]달인 퇴마사는 촉수요마 따위에 굴하지 않아_v260523
dmol2279
05/10
66005
184
[강화버전]달인 퇴마사는 촉수요마 따위에 굴하지 않아_v260523
번역
dmol2279
05/10 66005 184
소리
[구매보급]【오호 목소리】 왕자님계 소녀가 ○예가 되어서 길러봤다~ 오호 목소리 섹스~
이름뭐하지
05/10
16251
88
[구매보급]【오호 목소리】 왕자님계 소녀가 ○예가 되어서 길러봤다~ 오호 목소리 섹스~
소리
이름뭐하지
05/10 16251 88
동인
직번[Ichiokumangenjaya (2-G)]편의점 알바 JK는 XXL 사이즈 콘돔을 사는 손님이 신경 쓰여 견딜 수 없다
woo15
05/10
20632
137
직번[Ichiokumangenjaya (2-G)]편의점 알바 JK는 XXL 사이즈 콘돔을 사는 손님이 신경 쓰여 견딜 수 없다
동인
woo15
05/10 20632 137
영상
후원보급,Br@n)보컬로 미쿠,구미 + 통합편집 (쿠로마루 해킹3)
비밀봉투
05/09
20115
93
후원보급,Br@n)보컬로 미쿠,구미 + 통합편집 (쿠로마루 해킹3)
영상
비밀봉투
05/09 20115 93
소리
[요청복구] [총 4편] 잔소리많고 육덕한, 스케베 데카파이 엄마가 자위하는 모습을 본 마더콘 아들은 시리즈
9ya
05/09
10618
88
[요청복구] [총 4편] 잔소리많고 육덕한, 스케베 데카파이 엄마가 자위하는 모습을 본 마더콘 아들은 시리즈
소리
9ya
05/09 10618 88
번역
26.05.12, 90일, 1.71 GB) RJ354108 비타민 퀘스트 2 v1.840. 개선 26.05.12.7z
ㅇㅇ
05/09
41595
171
26.05.12, 90일, 1.71 GB) RJ354108 비타민 퀘스트 2 v1.840. 개선 26.05.12.7z
번역
ㅇㅇ
05/09 41595 171
영상
후원보급,Br@n)버튜버 노엘,마린,스이세이,멜,초코,클로에,페코마마 + 통합편집
비밀봉투
05/09
34974
132
후원보급,Br@n)버튜버 노엘,마린,스이세이,멜,초코,클로에,페코마마 + 통합편집
영상
비밀봉투
05/09 34974 132
야짤
카프카의 은밀한 취미
idjsio864
05/09
21224
75
카프카의 은밀한 취미
야짤
idjsio864
05/09 21224 75
미번
던전 앤 브라이드
SML
05/09
24420
70
던전 앤 브라이드
미번
SML
05/09 24420 70
미번
[구매보급] 음최도시 휴프노즘 v1.06 (1.07버전업)
SML
05/09
27076
42
[구매보급] 음최도시 휴프노즘 v1.06 (1.07버전업)
미번
SML
05/09 27076 42
정보
비월선행록 번역패치 이후 무기 강화 안되는 버그 수정 방법
ccrruuddee
05/09
16557
26
비월선행록 번역패치 이후 무기 강화 안되는 버그 수정 방법
정보
ccrruuddee
05/09 16557 26
소리
[전연령]사랑이 무거운 안데레 소녀의 속삭이며 귀청소
siroyume
05/09
15273
37
[전연령]사랑이 무거운 안데레 소녀의 속삭이며 귀청소
소리
siroyume
05/09 15273 37
정보
[어팬드/예고/발매완료]게임 3개
잉여로운인간의생활
05/09
12221
19
[어팬드/예고/발매완료]게임 3개
정보
잉여로운인간의생활
05/09 12221 19
영상
후원보급,Br@n)젖소파티,벽람항로 카시노 + 통합편집
비밀봉투
05/09
15309
82
후원보급,Br@n)젖소파티,벽람항로 카시노 + 통합편집
영상
비밀봉투
05/09 15309 82
동인
이세계전생 사기 스킬을 가진 OL은 남자한테는 못 이겨!
나나세마루
05/09
37330
128
이세계전생 사기 스킬을 가진 OL은 남자한테는 못 이겨!
동인
나나세마루
05/09 37330 128
동인
이세계전생 사기 스킬을 가진 OL은 남자한테도 안 져!
나나세마루
05/09
28401
120
이세계전생 사기 스킬을 가진 OL은 남자한테도 안 져!
동인
나나세마루
05/09 28401 120
미번
Orange Piece 10개 모음집
playthesean
05/09
14115
24
Orange Piece 10개 모음집
미번
playthesean
05/09 14115 24
영상
후원보급,Br@n)포켓몬 카나리,무쿠 + 통합편집
비밀봉투
05/09
18068
68
후원보급,Br@n)포켓몬 카나리,무쿠 + 통합편집
영상
비밀봉투
05/09 18068 68
정보
해당 작품 왠만하면 구매하지마삼
쩝냡
05/09
13473
52
해당 작품 왠만하면 구매하지마삼
정보
쩝냡
05/09 13473 52
소리
[구매보급] RJ01044892 냄새 페티시 서큐버스의 땀으로 눅눅한 페로몬 착정
gnrjrdtjcft
05/09
12630
50
[구매보급] RJ01044892 냄새 페티시 서큐버스의 땀으로 눅눅한 페로몬 착정
소리
gnrjrdtjcft
05/09 12630 50
소리
[구매보급] RJ01499531 보물 상자 음란 『쌍』 ~미믹 서큐버스~ 당신은 미끈미끈 뭉툭한 거구 쌍둥이 서큐버스가 기다리는 미믹에 갇혔다!? ♡
gnrjrdtjcft
05/09
11111
63
[구매보급] RJ01499531 보물 상자 음란 『쌍』 ~미믹 서큐버스~ 당신은 미끈미끈 뭉툭한 거구 쌍둥이 서큐버스가 기다리는 미믹에 갇혔다!? ♡
소리
gnrjrdtjcft
05/09 11111 63
번역
[기번] Orange Piece 써클 5개
playthesean
05/09
39990
81
[기번] Orange Piece 써클 5개
번역
playthesean
05/09 39990 81
복구
26.05.12, 90일, 1.21 GB) 1-1. RJ112559 ROBF v4.1 개조 21.03.21. 개선 26.05.12.7z
ㅇㅇ
05/09
19834
47
26.05.12, 90일, 1.21 GB) 1-1. RJ112559 ROBF v4.1 개조 21.03.21. 개선 26.05.12.7z
복구
ㅇㅇ
05/09 19834 47
동인
[ろきた][번역] 클라라의 수난 , 백로의 치료 1, 2 , 헤르타 예비 바디
doyoulikekim
05/09
26490
74
[ろきた][번역] 클라라의 수난 , 백로의 치료 1, 2 , 헤르타 예비 바디
동인
doyoulikekim
05/09 26490 74
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43