로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4601 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60602
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60602 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90626
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90626 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205017
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205017 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252808
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252808 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243424
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243424 -14
일반
의술사 이거 존나 재밌네
Noel
05/20
2159
0
의술사 이거 존나 재밌네
일반
Noel
05/20 2159 0
야짤
ai, 붕스) 스파클이 자꾸 유혹해서 마구 질내사정 해줬다
kjh9304
05/20
9882
116
ai, 붕스) 스파클이 자꾸 유혹해서 마구 질내사정 해줬다
야짤
kjh9304
05/20 9882 116
질문
알미오시온 의술사 질문 드립니다
aaaaa1242
05/20
3127
0
알미오시온 의술사 질문 드립니다
질문
aaaaa1242
05/20 3127 0
일반
판티아 왜 그러냐
dtgft6
05/19
1671
0
판티아 왜 그러냐
일반
dtgft6
05/19 1671 0
일반
오늘 예비군이다...
겜믈리에
05/19
3024
3
오늘 예비군이다...
일반
겜믈리에
05/19 3024 3
동인
AI번) (역NTR) 좋아하는 남자를 엄마에게 뺏긴 여자
latte
05/19
17389
99
AI번) (역NTR) 좋아하는 남자를 엄마에게 뺏긴 여자
동인
latte
05/19 17389 99
질문
타락신관 대사 안 보이게 하는 거 없나요
sra22
05/19
2515
1
타락신관 대사 안 보이게 하는 거 없나요
질문
sra22
05/19 2515 1
일반
방주 정리하면서 나도 모르게 삭제한게 좀 있나보네
toung
05/19
3775
1
방주 정리하면서 나도 모르게 삭제한게 좀 있나보네
일반
toung
05/19 3775 1
동인
[AI번역][Gya-tei] 전학 온 갸루 서큐버스의 진수성찬은 나 혼자 2
allooww
05/19
15620
63
[AI번역][Gya-tei] 전학 온 갸루 서큐버스의 진수성찬은 나 혼자 2
동인
allooww
05/19 15620 63
일반
(스포)Lost chapter 이거 감정선이 좀 이상한데
paddackmon
05/19
3232
0
(스포)Lost chapter 이거 감정선이 좀 이상한데
일반
paddackmon
05/19 3232 0
정보
태양모양 솔라 스크립트 전체화면 단축키
qee1231eqw
05/19
5851
-3
태양모양 솔라 스크립트 전체화면 단축키
정보
qee1231eqw
05/19 5851 -3
영상
Lynea - Intergalactia Segs
굴라그의죄수
05/19
17596
110
Lynea - Intergalactia Segs
영상
굴라그의죄수
05/19 17596 110
세이브
샤코리와 타락한 도시 save
rkdrkdtnf1212
05/19
6610
14
샤코리와 타락한 도시 save
세이브
rkdrkdtnf1212
05/19 6610 14
일반
게임샀다
페비
05/19
3016
4
게임샀다
일반
페비
05/19 3016 4
영상
のっふん 원〇 애니메이션 모음 BOX
하누마 마코마코
05/19
29517
185
のっふん 원〇 애니메이션 모음 BOX
영상
하누마 마코마코
05/19 29517 185
일반
판티아도 지랄났네
페비
05/19
2876
10
판티아도 지랄났네
일반
페비
05/19 2876 10
일반
아무도 낚시 안했는데 혼자 제목낚시당함...
발바닥
05/19
2177
1
아무도 낚시 안했는데 혼자 제목낚시당함...
일반
발바닥
05/19 2177 1
동인
[요청 번역작-cg집] [ai작품-ai번역] [Bleachmama] NTS Kr○nii after (v2) <p.255>
mybest
05/19
26452
80
[요청 번역작-cg집] [ai작품-ai번역] [Bleachmama] NTS Kr○nii after (v2) <p.255>
동인
mybest
05/19 26452 80
일반
펄스미스2 배분이 왜 이러지
un1542
05/19
3629
1
펄스미스2 배분이 왜 이러지
일반
un1542
05/19 3629 1
질문
x 미디어 한번에 다운로드 할 수 있는 프로그램 있을까요?
gigi-murin
05/19
2044
-3
x 미디어 한번에 다운로드 할 수 있는 프로그램 있을까요?
질문
gigi-murin
05/19 2044 -3
요청
[복구요청] 귀신감독과 내 여자친구 ~여배우 지망생이 귀신감독과 육체관계를 맺은 이유~
아름답고창조적인해산물
05/19
2364
1
[복구요청] 귀신감독과 내 여자친구 ~여배우 지망생이 귀신감독과 육체관계를 맺은 이유~
요청
아름답고창조적인해산물
05/19 2364 1
피드백
성행위 실습은 아빠와 번역 누락
ㅇㅇ
05/19
4093
0
성행위 실습은 아빠와 번역 누락
피드백
ㅇㅇ
05/19 4093 0
후기 및 공략
던브 개인적인 팁
hacom
05/19
4240
11
던브 개인적인 팁
후기 및 공략
hacom
05/19 4240 11
일반
케모노 뒤진거 안타깝네
페로로질라
05/19
4537
0
케모노 뒤진거 안타깝네
일반
페로로질라
05/19 4537 0
미번
[식질요청] RJ141187 상복 로리타 긴박 기담 미소녀 성 노예 조교
ilillilllilil
05/19
20979
48
[식질요청] RJ141187 상복 로리타 긴박 기담 미소녀 성 노예 조교
미번
ilillilllilil
05/19 20979 48
동인
명조 에이메스 BBC
굴라그의죄수
05/19
21090
57
명조 에이메스 BBC
동인
굴라그의죄수
05/19 21090 57
질문
던브 마법사도 간단하게 마법스킬 쓰는 방법이 있었네요
fusbriwidhei32
05/19
4232
1
던브 마법사도 간단하게 마법스킬 쓰는 방법이 있었네요
질문
fusbriwidhei32
05/19 4232 1
일반
후속작 떡밥 있는 야겜이 너무 무섭딘
부탄가스
05/19
1826
0
후속작 떡밥 있는 야겜이 너무 무섭딘
일반
부탄가스
05/19 1826 0
일반
ntr을 너무 즐겨보니까 좀 이상해짐
ikusa-1
05/19
2583
0
ntr을 너무 즐겨보니까 좀 이상해짐
일반
ikusa-1
05/19 2583 0
질문
의술사 보스 질문좀 너무 어려움
ahukj
05/19
7150
-1
의술사 보스 질문좀 너무 어려움
질문
ahukj
05/19 7150 -1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43