로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4580 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60599
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60599 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90603
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90603 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204974
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204974 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252774
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252774 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243376
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243376 -14
일반
포션가게 체험판 이미지갯수 봐는데
sorbe123
05/26
1458
0
포션가게 체험판 이미지갯수 봐는데
일반
sorbe123
05/26 1458 0
후기 및 공략
노잼) 두번째야겜 후기 (암컷타락여장학교)
ovid199
05/26
2972
3
노잼) 두번째야겜 후기 (암컷타락여장학교)
후기 및 공략
ovid199
05/26 2972 3
일반
NTR 여관 체험판 딱 맛도리일때 끝나더라
sty8633
05/26
1190
1
NTR 여관 체험판 딱 맛도리일때 끝나더라
일반
sty8633
05/26 1190 1
복구
비밀 노출 -배덕의 달콤함에 물든 마나카- v1.13 개인 모드팩
ㅇㅇ
05/26
15631
76
비밀 노출 -배덕의 달콤함에 물든 마나카- v1.13 개인 모드팩
복구
ㅇㅇ
05/26 15631 76
질문
리코의 이상한 심부름 이거 어찌함?
g80aa
05/26
1366
0
리코의 이상한 심부름 이거 어찌함?
질문
g80aa
05/26 1366 0
질문
히라탄이나 카타기리같은 장르는 뭐라고 하지
fjeif2
05/26
2234
0
히라탄이나 카타기리같은 장르는 뭐라고 하지
질문
fjeif2
05/26 2234 0
질문
드래곤 콩키스타 하려는데
skdjfkl
05/26
2674
0
드래곤 콩키스타 하려는데
질문
skdjfkl
05/26 2674 0
질문
선나이트 에리카 이거
guchuk
05/26
1075
0
선나이트 에리카 이거
질문
guchuk
05/26 1075 0
질문
의술사 재밌음?
satam1212
05/26
1952
-1
의술사 재밌음?
질문
satam1212
05/26 1952 -1
일반
포츈 브라이드 절정개안의 의식이 재밌는 이유를 깨달았다.
아즈칼
05/26
1026
1
포츈 브라이드 절정개안의 의식이 재밌는 이유를 깨달았다.
일반
아즈칼
05/26 1026 1
일반
아니... 구글 계정 정지당했네
taeyangntr
05/26
2934
-6
아니... 구글 계정 정지당했네
일반
taeyangntr
05/26 2934 -6
일반
시니시스터 망겜이네..
ㅇㅇ
05/26
2360
6
시니시스터 망겜이네..
일반
ㅇㅇ
05/26 2360 6
질문
망가 찾습니다
qlfjwfswdjl1
05/26
1442
0
망가 찾습니다
질문
qlfjwfswdjl1
05/26 1442 0
후기 및 공략
의술사 3회차까지 하고나서 짤팁 몇개
ㅇㅇ
05/26
2287
6
의술사 3회차까지 하고나서 짤팁 몇개
후기 및 공략
ㅇㅇ
05/26 2287 6
질문
시니시스타2 아인소굴 어케가나요?
sinbiru
05/26
1563
1
시니시스타2 아인소굴 어케가나요?
질문
sinbiru
05/26 1563 1
정보
록시 번역기 프롬프트 공유
mybest
05/26
3429
11
록시 번역기 프롬프트 공유
정보
mybest
05/26 3429 11
질문
ex엔딩 {나} 어케 잡냐
su-park
05/26
1414
-1
ex엔딩 {나} 어케 잡냐
질문
su-park
05/26 1414 -1
정보
프레이야의 물약가게 6월중순 발매
sorbe123
05/26
3578
12
프레이야의 물약가게 6월중순 발매
정보
sorbe123
05/26 3578 12
질문
그런겜 아무거나 추천좀
ainijou
05/26
1278
-4
그런겜 아무거나 추천좀
질문
ainijou
05/26 1278 -4
요청
[복구요청] 마나카 모드들
milona
05/26
2648
1
[복구요청] 마나카 모드들
요청
milona
05/26 2648 1
동인
검은파스타-공대녀와 투시안경
k8625
05/26
31152
150
검은파스타-공대녀와 투시안경
동인
k8625
05/26 31152 150
소리
[구매보급]강한 척 쿨한 거유 여신님의 금역을 범해 보았다. 처녀막 상실 오호섹스
이름뭐하지
05/26
5846
52
[구매보급]강한 척 쿨한 거유 여신님의 금역을 범해 보았다. 처녀막 상실 오호섹스
소리
이름뭐하지
05/26 5846 52
요청
연휴가 끝나고 힘든 오늘 간절한 요청 나룸메 My Cute Roommate 1.2를 살려주세요
iciqog123
05/26
1618
1
연휴가 끝나고 힘든 오늘 간절한 요청 나룸메 My Cute Roommate 1.2를 살려주세요
요청
iciqog123
05/26 1618 1
동인
Rabu-LH 스승님은 성욕처리를 잘하는 무감정 슬라임 검사
k8625
05/26
23633
183
Rabu-LH 스승님은 성욕처리를 잘하는 무감정 슬라임 검사
동인
k8625
05/26 23633 183
동인
Rabu-갸루들에게 괴롭힘당하는 나, 연령퇴행 어플로 역전 하렘
k8625
05/26
14204
72
Rabu-갸루들에게 괴롭힘당하는 나, 연령퇴행 어플로 역전 하렘
동인
k8625
05/26 14204 72
창작
그림뉴비 (후타,퍼리)
sexqueen0312
05/26
1919
10
그림뉴비 (후타,퍼리)
창작
sexqueen0312
05/26 1919 10
동인
Rabu-진심 육상클럽은 그 어떤 지도에도 전력을 다하는 바보들이라 최고♡
k8625
05/26
14358
96
Rabu-진심 육상클럽은 그 어떤 지도에도 전력을 다하는 바보들이라 최고♡
동인
k8625
05/26 14358 96
동인
Rabu-무자각 NTR 스즈짱
k8625
05/26
11480
69
Rabu-무자각 NTR 스즈짱
동인
k8625
05/26 11480 69
후기 및 공략
No Ecstasy No Life - RJ01625816 후기
다비우치
05/26
2529
5
No Ecstasy No Life - RJ01625816 후기
후기 및 공략
다비우치
05/26 2529 5
요청
[RJ01458403] [복구요청] 간닌 유두의장
sjsjjs
05/26
1667
2
[RJ01458403] [복구요청] 간닌 유두의장
요청
sjsjjs
05/26 1667 2
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43