로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4608 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60603
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60603 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90632
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90632 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205021
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205021 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252814
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252814 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243429
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243429 -14
미번
[구매보급][번역요청] RJ366405, RJ274147, RJ125993 격전요이담+패러렐판타지 if
jung3291
04/29
13819
31
[구매보급][번역요청] RJ366405, RJ274147, RJ125993 격전요이담+패러렐판타지 if
미번
jung3291
04/29 13819 31
정보
노출류 신작 드디어 출시일뜸
afds34wewq
04/29
12943
27
노출류 신작 드디어 출시일뜸
정보
afds34wewq
04/29 12943 27
후기 및 공략
내 근육 돌려줘! 공략 (초스압주의,스포주의)
asdf
04/29
16901
46
내 근육 돌려줘! 공략 (초스압주의,스포주의)
후기 및 공략
asdf
04/29 16901 46
야짤
짧번)보지 붕괴 피스톤
qew123
04/29
10692
33
짧번)보지 붕괴 피스톤
야짤
qew123
04/29 10692 33
동인
AI번역,손식질) 사키코 간통사정 3
1Q2W3E4R
04/29
26230
113
AI번역,손식질) 사키코 간통사정 3
동인
1Q2W3E4R
04/29 26230 113
영상
아리아 (ZZZ)
브레머튼
04/29
21052
105
아리아 (ZZZ)
영상
브레머튼
04/29 21052 105
영상
bbc ep21+22 자막 완성함
jaennab
04/29
16838
71
bbc ep21+22 자막 완성함
영상
jaennab
04/29 16838 71
영상
U2FpZ28gRWJpem9yaQ== 기타 영상 모음
karatro
04/29
24623
105
U2FpZ28gRWJpem9yaQ== 기타 영상 모음
영상
karatro
04/29 24623 105
야짤
AI, 나히아) 하가쿠레 교내 노출
miso5
04/29
16167
60
AI, 나히아) 하가쿠레 교내 노출
야짤
miso5
04/29 16167 60
후기 및 공략
[후기] RJ01293869 [7センチ] 종말 쉘터 성활 v1.4 후기
루나랩
04/29
16795
24
[후기] RJ01293869 [7センチ] 종말 쉘터 성활 v1.4 후기
후기 및 공략
루나랩
04/29 16795 24
미번
[구매보급][번역 요청] RJ01569413 征服_催眠紅魔館 Ver1.00b
rkrkrkrk777777
04/29
13404
46
[구매보급][번역 요청] RJ01569413 征服_催眠紅魔館 Ver1.00b
미번
rkrkrkrk777777
04/29 13404 46
소리
[구매보급]【오호쿠노이치】건방진 쿠노이치를 약물굴복교미시키는 이야기
이름뭐하지
04/29
19034
57
[구매보급]【오호쿠노이치】건방진 쿠노이치를 약물굴복교미시키는 이야기
소리
이름뭐하지
04/29 19034 57
동인
Poriuretan 갸루와 안경(남), 그리고 여름
uzaki
04/29
19859
56
Poriuretan 갸루와 안경(남), 그리고 여름
동인
uzaki
04/29 19859 56
동인
Poriuretan 한여름 낮 시간의 아파트 단지 주부
uzaki
04/29
19086
43
Poriuretan 한여름 낮 시간의 아파트 단지 주부
동인
uzaki
04/29 19086 43
동인
Poriuretan 심령 스팟에서 의기투합
uzaki
04/29
12561
29
Poriuretan 심령 스팟에서 의기투합
동인
uzaki
04/29 12561 29
동인
Poriuretan 컴플렉스
uzaki
04/29
18075
47
Poriuretan 컴플렉스
동인
uzaki
04/29 18075 47
동인
Poriuretan 노츨중 환자와 이슬
uzaki
04/29
15355
46
Poriuretan 노츨중 환자와 이슬
동인
uzaki
04/29 15355 46
동인
Poriuretan 언제나 옷차림이 가벼운
uzaki
04/29
17279
53
Poriuretan 언제나 옷차림이 가벼운
동인
uzaki
04/29 17279 53
동인
Poriuretan 메이드
uzaki
04/29
13563
37
Poriuretan 메이드
동인
uzaki
04/29 13563 37
동인
Poriuretan 수학여행
uzaki
04/29
14460
45
Poriuretan 수학여행
동인
uzaki
04/29 14460 45
동인
Poriuretan 이웃집 여자아이
uzaki
04/29
22123
65
Poriuretan 이웃집 여자아이
동인
uzaki
04/29 22123 65
동인
Poriuretan 모기장 밖
uzaki
04/29
9119
28
Poriuretan 모기장 밖
동인
uzaki
04/29 9119 28
소리
[베로츄 특화] 나를 너무너무너무 좋아하는 건방진 JK 여동생과 잔뜩 키스하는 동거 생활
츄하이
04/29
19074
94
[베로츄 특화] 나를 너무너무너무 좋아하는 건방진 JK 여동생과 잔뜩 키스하는 동거 생활
소리
츄하이
04/29 19074 94
야짤
AI, 셀레스포니아) 감각차단함정 (촉수, 산란 있음 시청 주의)
miso5
04/29
17823
144
AI, 셀레스포니아) 감각차단함정 (촉수, 산란 있음 시청 주의)
야짤
miso5
04/29 17823 144
미번
[버전업] 요몽원: The Nightmaretaker ~악마에 씌인 남자~ v1.7.2
kkkkkk0909
04/29
35653
178
[버전업] 요몽원: The Nightmaretaker ~악마에 씌인 남자~ v1.7.2
미번
kkkkkk0909
04/29 35653 178
영상
[한글자막] 왕가슴 대기업 임원, 애널&풋잡
실루엣21
04/29
33826
122
[한글자막] 왕가슴 대기업 임원, 애널&풋잡
영상
실루엣21
04/29 33826 122
번역
[이미지 번역]코스플레이어 우타네를 빼앗겨 버립니다
솔라셀
04/29
56774
215
[이미지 번역]코스플레이어 우타네를 빼앗겨 버립니다
번역
솔라셀
04/29 56774 215
영상
비비안 [ZZZ] ( 기본 + 보너스 영상)
브레머튼
04/29
18605
85
비비안 [ZZZ] ( 기본 + 보너스 영상)
영상
브레머튼
04/29 18605 85
소리
【아헤오호 밀착 엣찌로 의사소통♪】 ~맹인 폭유 시스터의 두근두근 보지 커뮤니케이션♪~ 초미인 성녀님이 나의 오라에 한눈에 반해... 엣!
shiroi
04/29
19038
95
【아헤오호 밀착 엣찌로 의사소통♪】 ~맹인 폭유 시스터의 두근두근 보지 커뮤니케이션♪~ 초미인 성녀님이 나의 오라에 한눈에 반해... 엣!
소리
shiroi
04/29 19038 95
후기 및 공략
타락신관 공략글 링크 + 궁금한거 질문 받음
asdf788
04/29
14666
31
타락신관 공략글 링크 + 궁금한거 질문 받음
후기 및 공략
asdf788
04/29 14666 31
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43