로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4574 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60597
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60597 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90594
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90594 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204966
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204966 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252761
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252761 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243362
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243362 -14
정보
orgy dice 작업근황
돔마
04/27
13639
17
orgy dice 작업근황
정보
돔마
04/27 13639 17
야짤
AI/청아) 임산부 스웨터
날개 로봇
04/27
5977
18
AI/청아) 임산부 스웨터
야짤
날개 로봇
04/27 5977 18
야짤
얼탱이가 없네 ㅋㅋㅋㅋㅋㅋㅋ
sesv3030
04/27
23395
57
얼탱이가 없네 ㅋㅋㅋㅋㅋㅋㅋ
야짤
sesv3030
04/27 23395 57
동인
[미번/번역요청] 선생님과 의붓어머니와 연인의 얼굴 2 의붓 조모 미조구치 아오이편
kosmof
04/27
16888
16
[미번/번역요청] 선생님과 의붓어머니와 연인의 얼굴 2 의붓 조모 미조구치 아오이편
동인
kosmof
04/27 16888 16
번역
(이종간) [자체한글,구매보급] 이세계 비스트로
ArIso
04/27
62242
228
(이종간) [자체한글,구매보급] 이세계 비스트로
번역
ArIso
04/27 62242 228
동인
[기계번역](청아)(ntr) NTR에 능숙한 타카기씨 풀 데이트 편
sssddss
04/27
33855
65
[기계번역](청아)(ntr) NTR에 능숙한 타카기씨 풀 데이트 편
동인
sssddss
04/27 33855 65
영상
[アブジャン] 타카기 양과 오빠의 추억 앨범 (자막없음)
aisha
04/27
27197
119
[アブジャン] 타카기 양과 오빠의 추억 앨범 (자막없음)
영상
aisha
04/27 27197 119
영상
cm9pcm9pbW1k, TU1EdHlwZTg3 모음집 업데이트 알림
hannanas
04/27
30457
53
cm9pcm9pbW1k, TU1EdHlwZTg3 모음집 업데이트 알림
영상
hannanas
04/27 30457 53
야짤
AI, 셀레스포니아) 덕트 함정
miso5
04/27
16159
111
AI, 셀레스포니아) 덕트 함정
야짤
miso5
04/27 16159 111
야짤
[AI] 도로롱
kifbodo245
04/27
15870
24
[AI] 도로롱
야짤
kifbodo245
04/27 15870 24
영상
bWkgcG8geg== 신작
ㅇㅇ
04/27
50101
276
bWkgcG8geg== 신작
영상
ㅇㅇ
04/27 50101 276
동인
(이종간, 료나, 촉수, 난자포식) 암꽃탐충 오구페스카 -전편-
snsyah00
04/27
35743
150
(이종간, 료나, 촉수, 난자포식) 암꽃탐충 오구페스카 -전편-
동인
snsyah00
04/27 35743 150
복구
RJ01045491 최면의 공주기사 v1.092 (26.03.31) Uncen
ㅇㅇ
04/27
36723
108
RJ01045491 최면의 공주기사 v1.092 (26.03.31) Uncen
복구
ㅇㅇ
04/27 36723 108
소리
[구매보급/최면음성] RJ074283 레○프・사운드・걸♪ (내 첫 동인음성)
summer4552
04/27
10028
44
[구매보급/최면음성] RJ074283 레○프・사운드・걸♪ (내 첫 동인음성)
소리
summer4552
04/27 10028 44
동인
[Shirabe Shiki] 대음마전에 있어서 감각 차단 부적은 필수 대비책입니다 ①
티모
04/27
53012
327
[Shirabe Shiki] 대음마전에 있어서 감각 차단 부적은 필수 대비책입니다 ①
동인
티모
04/27 53012 327
영상
호시노 (블아)
브레머튼
04/27
17883
85
호시노 (블아)
영상
브레머튼
04/27 17883 85
유틸
제품 코드 추출기, 제품 코드 중복 찾기
ㅇㅇ
04/27
8404
18
제품 코드 추출기, 제품 코드 중복 찾기
유틸
ㅇㅇ
04/27 8404 18
세이브
나츠노 사가시모노 RJ370402 회상 save
sadwdas
04/27
12033
17
나츠노 사가시모노 RJ370402 회상 save
세이브
sadwdas
04/27 12033 17
동인
펌,다테로쿠) 아내와 의붓자식이 같은 사람(나)을 좋아하게 되는 것은 유전자적으로 당연!2
kjalar
04/27
18596
61
펌,다테로쿠) 아내와 의붓자식이 같은 사람(나)을 좋아하게 되는 것은 유전자적으로 당연!2
동인
kjalar
04/27 18596 61
영상
[복구][4K,1080] bbc ep19+20, ep21+22 (eWV5ZWJpcmRpZQ==)
jaennab
04/27
28062
111
[복구][4K,1080] bbc ep19+20, ep21+22 (eWV5ZWJpcmRpZQ==)
영상
jaennab
04/27 28062 111
동인
[노모화완료] [Dozamura] 돌보기 좋아하는 엄마, 아들한테 박혀버리다
lliililiiii
04/27
26955
94
[노모화완료] [Dozamura] 돌보기 좋아하는 엄마, 아들한테 박혀버리다
동인
lliililiiii
04/27 26955 94
동인
[노모화완료] [yomoda yomo] 고학력(인텔리) 유부녀 아마미야 토코 준교수(선생님)의 발정 _안경있음
lliililiiii
04/27
35789
104
[노모화완료] [yomoda yomo] 고학력(인텔리) 유부녀 아마미야 토코 준교수(선생님)의 발정 _안경있음
동인
lliililiiii
04/27 35789 104
야짤
AI, 블아) 매지컬 스즈미
miso5
04/27
7927
41
AI, 블아) 매지컬 스즈미
야짤
miso5
04/27 7927 41
동인
airandou 여동생을 임신시키지 못하면 나갈 수 없는 섬 2편
posan
04/27
35034
210
airandou 여동생을 임신시키지 못하면 나갈 수 없는 섬 2편
동인
posan
04/27 35034 210
야짤
바니걸 키아라
Ghost
04/27
15784
63
바니걸 키아라
야짤
Ghost
04/27 15784 63
영상
[후타] 비비안 & 벨 (ZZZ) 파트 1
브레머튼
04/27
20992
82
[후타] 비비안 & 벨 (ZZZ) 파트 1
영상
브레머튼
04/27 20992 82
정보
음최도시 힙노즘 (제목이 맞나 모르겠음) 28일 자정에 발매할듯
wouwouer
04/27
13256
18
음최도시 힙노즘 (제목이 맞나 모르겠음) 28일 자정에 발매할듯
정보
wouwouer
04/27 13256 18
영상
[4K60FPS] Custom Udon 노모 (LADA)
쿠지락스
04/27
41099
232
[4K60FPS] Custom Udon 노모 (LADA)
영상
쿠지락스
04/27 41099 232
동인
[kakao/노모] 연인☆놀이
ㅇㅇ
04/27
25892
85
[kakao/노모] 연인☆놀이
동인
ㅇㅇ
04/27 25892 85
미번
업뎃)철부지 고양이 에르샤 ver.1.03
쩝냡
04/27
13395
55
업뎃)철부지 고양이 에르샤 ver.1.03
미번
쩝냡
04/27 13395 55
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43