로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4628 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60603
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60603 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90641
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90641 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205035
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205035 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252838
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252838 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243461
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243461 -14
번역
[한글패치]NAKED HIGHSCHOOL【학원 생활 노출RPG】Ver1.02
아르
05/20
55447
271
[한글패치]NAKED HIGHSCHOOL【학원 생활 노출RPG】Ver1.02
번역
아르
05/20 55447 271
질문
티라노 엔진 번역 방법이나 툴 정리된거 있음?
allon
05/20
2741
-1
티라노 엔진 번역 방법이나 툴 정리된거 있음?
질문
allon
05/20 2741 -1
동인
Inu 변태 갸루 코스플레이어와 오프파코 하는 이야기
SK
05/20
18672
81
Inu 변태 갸루 코스플레이어와 오프파코 하는 이야기
동인
SK
05/20 18672 81
일반
랩스위퍼 신작 대체 언제나와
골라듄다큐
05/20
3128
1
랩스위퍼 신작 대체 언제나와
일반
골라듄다큐
05/20 3128 1
질문
의술사) 아이 씨발련 도저히 못깨겟어요 ㅠㅠㅠㅠㅠ
미미쨩
05/20
2070
0
의술사) 아이 씨발련 도저히 못깨겟어요 ㅠㅠㅠㅠㅠ
질문
미미쨩
05/20 2070 0
질문
개발중인 게임 제목 아는 사람
vivy
05/20
1613
0
개발중인 게임 제목 아는 사람
질문
vivy
05/20 1613 0
질문
서큐버스 겜을 찾습니다
kku213
05/20
3827
0
서큐버스 겜을 찾습니다
질문
kku213
05/20 3827 0
일반
네토라세물은 씨발 씬이 어떻게 다 꼴리냐
인생좆망함
05/20
2826
0
네토라세물은 씨발 씬이 어떻게 다 꼴리냐
일반
인생좆망함
05/20 2826 0
질문
풍기위원 처녀유무 중요한 게임인가요?
fm2tm
05/20
1175
0
풍기위원 처녀유무 중요한 게임인가요?
질문
fm2tm
05/20 1175 0
질문
비월선행록CG모으기
dodogod
05/20
2372
0
비월선행록CG모으기
질문
dodogod
05/20 2372 0
세이브
아득한 세레스피아 세이브 모드 및 회상 세이브
noongkk
05/20
5654
11
아득한 세레스피아 세이브 모드 및 회상 세이브
세이브
noongkk
05/20 5654 11
소리
[구매보급] 청초로 무구한 가희의 인식을 개변해 성봉사 매너로서 상냥하게 생하메
rocoa
05/20
8310
52
[구매보급] 청초로 무구한 가희의 인식을 개변해 성봉사 매너로서 상냥하게 생하메
소리
rocoa
05/20 8310 52
질문
의술사 v1.052 하고 있음? v.1.044로 하고 있음?
losress
05/20
3335
0
의술사 v1.052 하고 있음? v.1.044로 하고 있음?
질문
losress
05/20 3335 0
질문
비월선행록
hororolo
05/20
2929
0
비월선행록
질문
hororolo
05/20 2929 0
질문
메시아 오브 로리타 체력바 없음??
i1li1l11li1li
05/20
3914
0
메시아 오브 로리타 체력바 없음??
질문
i1li1l11li1li
05/20 3914 0
질문
언홀메 춤 어케 늘림?
rlawnsdudrod
05/20
2878
0
언홀메 춤 어케 늘림?
질문
rlawnsdudrod
05/20 2878 0
미번
[후원보급] [번역요청]후타) Yaradiels Crown
겜남술녀
05/20
15319
27
[후원보급] [번역요청]후타) Yaradiels Crown
미번
겜남술녀
05/20 15319 27
요청
[복구요청] 巨乳戦士 복구 요청합니다
이게왜안됨
05/20
2224
0
[복구요청] 巨乳戦士 복구 요청합니다
요청
이게왜안됨
05/20 2224 0
소리
[구매보급] 폭유 견습 서큐버스에 의한 「달콤한 토로」에너지 드레인～히소히소소리로 처음의 카운트다운 착정
rocoa
05/20
11410
53
[구매보급] 폭유 견습 서큐버스에 의한 「달콤한 토로」에너지 드레인～히소히소소리로 처음의 카운트다운 착정
소리
rocoa
05/20 11410 53
동인
직번) [Kunifuto Work (Kunifuto)] 그 아이는 멀리 달려가버렸다
ntrmmmmm
05/20
19235
103
직번) [Kunifuto Work (Kunifuto)] 그 아이는 멀리 달려가버렸다
동인
ntrmmmmm
05/20 19235 103
요청
[복구요청] 부서지는 여름색 +after 합본 복구요청
kkjj1123
05/20
3200
3
[복구요청] 부서지는 여름색 +after 합본 복구요청
요청
kkjj1123
05/20 3200 3
질문
감히 선배님들한테 질문합니다
gagggagg
05/20
2541
1
감히 선배님들한테 질문합니다
질문
gagggagg
05/20 2541 1
동인
[미번/번역요청] 성도회1일 교제
k8625
05/20
12876
36
[미번/번역요청] 성도회1일 교제
동인
k8625
05/20 12876 36
요청
[복구요청] RJ354420 リトルカノープス 복구부탁드립니다.
발암
05/20
2554
-1
[복구요청] RJ354420 リトルカノープス 복구부탁드립니다.
요청
발암
05/20 2554 -1
동인
[미번/번역요청]렌탈 별장의 이웃이 위기감이 없어 없었던건 EX
아돌
05/20
10936
28
[미번/번역요청]렌탈 별장의 이웃이 위기감이 없어 없었던건 EX
동인
아돌
05/20 10936 28
일반
코이카츠로 만든 영상은 이제 안꼴리네..
hakuren
05/20
4981
1
코이카츠로 만든 영상은 이제 안꼴리네..
일반
hakuren
05/20 4981 1
동인
[미번/번역요청]Nekoshoko-거유 로리소녀 미번
k8625
05/20
14455
44
[미번/번역요청]Nekoshoko-거유 로리소녀 미번
동인
k8625
05/20 14455 44
요청
[복구요청] SMasochist 작가 모음 복구 요청드립니다
djwiaksnd123
05/20
3762
11
[복구요청] SMasochist 작가 모음 복구 요청드립니다
요청
djwiaksnd123
05/20 3762 11
일반
의술사 뭔가 애매하네
뿜빠야
05/20
3892
2
의술사 뭔가 애매하네
일반
뿜빠야
05/20 3892 2
질문
비월선행록 주민루트에서 막혔는데
rty0305
05/20
3530
0
비월선행록 주민루트에서 막혔는데
질문
rty0305
05/20 3530 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43