로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4661 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90658
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90658 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205063
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205063 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252864
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252864 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243501
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243501 -14
동인
청아) 로리페도를 죽이는 마법
와캬퍄헉농
05/01
42359
99
청아) 로리페도를 죽이는 마법
동인
와캬퍄헉농
05/01 42359 99
동인
섹프선배
hatlatal
05/01
11962
22
섹프선배
동인
hatlatal
05/01 11962 22
동인
빨간 건 너의 잘못
hatlatal
05/01
13680
38
빨간 건 너의 잘못
동인
hatlatal
05/01 13680 38
영상
3Mura 0501
참새
05/01
22955
104
3Mura 0501
영상
참새
05/01 22955 104
미번
번역요청) 天空花嫁_천공의 신부 DQV NTR 게임
난관공략
05/01
10456
24
번역요청) 天空花嫁_천공의 신부 DQV NTR 게임
미번
난관공략
05/01 10456 24
동인
[미번/번역요청] 최면 애플리케이션 실험 기록3
비밀세상
05/01
11357
23
[미번/번역요청] 최면 애플리케이션 실험 기록3
동인
비밀세상
05/01 11357 23
소리
[복구]【보너스 만화 포함】 잘생긴 여고생 여성 집사의 푹신한 페로몬 로커【저음 끈적끈적】
키도
05/01
7715
40
[복구]【보너스 만화 포함】 잘생긴 여고생 여성 집사의 푹신한 페로몬 로커【저음 끈적끈적】
소리
키도
05/01 7715 40
소리
PTNTR-왕도 최강의 성검사에게 파티 멤버를 네토라레 당하고 강○멈춤 마조 오나 조교당하는 허접검사의 말로-
키도
05/01
10631
47
PTNTR-왕도 최강의 성검사에게 파티 멤버를 네토라레 당하고 강○멈춤 마조 오나 조교당하는 허접검사의 말로-
소리
키도
05/01 10631 47
영상
[4K] 미네타 VS 마운트 레이디 ~쓰레기 히어로, 욕망 폭식♥~
실루엣21
05/01
24616
143
[4K] 미네타 VS 마운트 레이디 ~쓰레기 히어로, 욕망 폭식♥~
영상
실루엣21
05/01 24616 143
소리
【네토라레 망상 엣지】소꿉친구 여친와 해, 주시지 않겠습니까?
키도
05/01
14106
43
【네토라레 망상 엣지】소꿉친구 여친와 해, 주시지 않겠습니까?
소리
키도
05/01 14106 43
소리
【네토라레 망상 에로】마법소녀쨩, 타락하지말아줘!
키도
05/01
9018
30
【네토라레 망상 에로】마법소녀쨩, 타락하지말아줘!
소리
키도
05/01 9018 30
소리
사랑하는 연하 어린 아내를 프로 NTR사에게 네토라세 하는 이야기
키도
05/01
6771
35
사랑하는 연하 어린 아내를 프로 NTR사에게 네토라세 하는 이야기
소리
키도
05/01 6771 35
소리
자지 밀크 퓨~~ 우♡ 달콤하고 심술궂은 에로가슴 누나에게, 실컷 사정하는 이야기♡
키리안
05/01
10549
76
자지 밀크 퓨~~ 우♡ 달콤하고 심술궂은 에로가슴 누나에게, 실컷 사정하는 이야기♡
소리
키리안
05/01 10549 76
소리
【NTR/오호】Re:마조 하이스펙 청초 아내의 과격한 봉사 보고~야리서클 시절의 과거 남자들에게 재조교당해 천박한 육변기로 타락 ～
키도
05/01
8208
44
【NTR/오호】Re:마조 하이스펙 청초 아내의 과격한 봉사 보고~야리서클 시절의 과거 남자들에게 재조교당해 천박한 육변기로 타락 ～
소리
키도
05/01 8208 44
소리
【네토라레 망상 엣지】전속 메이드씨, 봉사하러 가지 마!
키도
05/01
7891
31
【네토라레 망상 엣지】전속 메이드씨, 봉사하러 가지 마!
소리
키도
05/01 7891 31
소리
네토라레 보고를 하는 아내는 네토라레 플레이를 그만둘 수 없다 ～ 인생의 승자 남편이 패배 인생 쪽의 거근에게 아내를 빼앗겨서 ～【도S 취향/KU100】
키도
05/01
13046
31
네토라레 보고를 하는 아내는 네토라레 플레이를 그만둘 수 없다 ～ 인생의 승자 남편이 패배 인생 쪽의 거근에게 아내를 빼앗겨서 ～【도S 취향/KU100】
소리
키도
05/01 13046 31
일반
정치 관계없이 걍 역대 병신 JOAT 3대장
미스터장
05/01
7874
64
정치 관계없이 걍 역대 병신 JOAT 3대장
일반
미스터장
05/01 7874 64
소리
~탁란+사정 관리에 의한 극한 NTR 생활~ 알파메일에 의한 정자 제공으로 마음까지 네토라레 당하는 사랑하는 아내: 치사 편
키도
05/01
15912
35
~탁란+사정 관리에 의한 극한 NTR 생활~ 알파메일에 의한 정자 제공으로 마음까지 네토라레 당하는 사랑하는 아내: 치사 편
소리
키도
05/01 15912 35
소리
【성실계 NTR】내 여친이 불량 야리친의 네토라레 오나호 보지가 될 때까지【KU100】
키도
05/01
9695
37
【성실계 NTR】내 여친이 불량 야리친의 네토라레 오나호 보지가 될 때까지【KU100】
소리
키도
05/01 9695 37
미번
[ACT][액션][노모] Atelier Tia ver.1.01 (티아의 아틀리에)
Kai
05/01
10999
55
[ACT][액션][노모] Atelier Tia ver.1.01 (티아의 아틀리에)
미번
Kai
05/01 10999 55
소리
【네토라레보고】 치어리더 여친의 네토라레를 보면서 우울 발기 자지로 딸치는 남자친구【KU100】
키도
05/01
6788
37
【네토라레보고】 치어리더 여친의 네토라레를 보면서 우울 발기 자지로 딸치는 남자친구【KU100】
소리
키도
05/01 6788 37
동인
NTR 최면학원
hatlatal
05/01
32010
63
NTR 최면학원
동인
hatlatal
05/01 32010 63
영상
보?추 이렐리아를 착정하는 아칼리
ㅇㅇ
05/01
24508
83
보?추 이렐리아를 착정하는 아칼리
영상
ㅇㅇ
05/01 24508 83
복구
[요청복구] RJ01482488 에로 파워로 도도한 딜러를 굴복시켜라!
argoklarke
05/01
40411
83
[요청복구] RJ01482488 에로 파워로 도도한 딜러를 굴복시켜라!
복구
argoklarke
05/01 40411 83
동인
술친구랑!
hatlatal
05/01
29800
123
술친구랑!
동인
hatlatal
05/01 29800 123
야짤
후타) 난 코이카츠가 참 안 꼴린다고 생각했어요
harangrang
05/01
6631
19
후타) 난 코이카츠가 참 안 꼴린다고 생각했어요
야짤
harangrang
05/01 6631 19
번역
기번,미검수) 퇴마 우키요초시
ikadran
05/01
26567
91
기번,미검수) 퇴마 우키요초시
번역
ikadran
05/01 26567 91
동인
호놀룰루를 함락시키는 책
hatlatal
05/01
9726
20
호놀룰루를 함락시키는 책
동인
hatlatal
05/01 9726 20
소리
【NTR】신혼 아내의 네토라레 보고를 귀청소 ～ 믿고 시댁에 보냈던 아내가 아버지에게 ‘신부수업’이라며 범해지고 돌아왔다
키도
05/01
8418
41
【NTR】신혼 아내의 네토라레 보고를 귀청소 ～ 믿고 시댁에 보냈던 아내가 아버지에게 ‘신부수업’이라며 범해지고 돌아왔다
소리
키도
05/01 8418 41
앱
[구매보급] (자체한글)(보추주의) 크레타군의 용돈 대작전!
이빨요정남편
05/01
22830
30
[구매보급] (자체한글)(보추주의) 크레타군의 용돈 대작전!
앱
이빨요정남편
05/01 22830 30
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43