로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4572 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60597
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60597 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90594
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90594 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204966
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204966 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252761
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252761 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243362
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243362 -14
복구
비타퀘2 업스케일링 받은 분들 한번씩 확인 부탁! (A/S)
sinbiru
05/19
18042
44
비타퀘2 업스케일링 받은 분들 한번씩 확인 부탁! (A/S)
복구
sinbiru
05/19 18042 44
일반
존재감 여동생은 진짜 계륵 그 자체네
ㅇㅇ
05/19
4546
2
존재감 여동생은 진짜 계륵 그 자체네
일반
ㅇㅇ
05/19 4546 2
일반
오랜만에 H 영지 할려했더니
아이셔
05/19
2751
1
오랜만에 H 영지 할려했더니
일반
아이셔
05/19 2751 1
일반
의술사는 한 4부작? 정도로 나올것같음
ㅇㅇ
05/19
3514
0
의술사는 한 4부작? 정도로 나올것같음
일반
ㅇㅇ
05/19 3514 0
정보
상극의 알테르 발매일
nyamberry
05/19
7397
18
상극의 알테르 발매일
정보
nyamberry
05/19 7397 18
질문
똥글일수도 있는데 진짜 진지하게 소붕이들에게 궁금한거
bisesdop
05/19
4451
1
똥글일수도 있는데 진짜 진지하게 소붕이들에게 궁금한거
질문
bisesdop
05/19 4451 1
유틸
내가 쓸려고 만든 DLsite 코드 검색 용
ATTAA
05/19
5968
7
내가 쓸려고 만든 DLsite 코드 검색 용
유틸
ATTAA
05/19 5968 7
일반
[크리매니아&시모바시라] AI 성능 좋네 ㅋㅋㅋ
owner123
05/19
2464
8
[크리매니아&시모바시라] AI 성능 좋네 ㅋㅋㅋ
일반
owner123
05/19 2464 8
요청
[복구요청] RJ424103 アゾット 아조트
명붕이
05/19
3990
0
[복구요청] RJ424103 アゾット 아조트
요청
명붕이
05/19 3990 0
동인
[akahon akamoto][ai번] 모음집 1,2
latte
05/19
20457
54
[akahon akamoto][ai번] 모음집 1,2
동인
latte
05/19 20457 54
질문
비월선행록 질문입니다 고수행님들 헬프미
탈룰라
05/19
3174
0
비월선행록 질문입니다 고수행님들 헬프미
질문
탈룰라
05/19 3174 0
질문
아득한 세레스피아 세이브파일 위치 어디인가요?
폴폴구리
05/19
3527
0
아득한 세레스피아 세이브파일 위치 어디인가요?
질문
폴폴구리
05/19 3527 0
일반
이번 주말에 비타퀘 노모 도전 해봄!
sinbiru
05/19
2192
15
이번 주말에 비타퀘 노모 도전 해봄!
일반
sinbiru
05/19 2192 15
복구
[[요청복구]] [RJ383251] 아리사 그리모어 ver.2.00
에로스테는 필수 스테는 선택
05/19
21234
124
[[요청복구]] [RJ383251] 아리사 그리모어 ver.2.00
복구
에로스테는 필수 스테는 선택
05/19 21234 124
일반
배에 음문 생긴 여기사 이거 클리어 못하겟음....
digksrj
05/19
2826
-2
배에 음문 생긴 여기사 이거 클리어 못하겟음....
일반
digksrj
05/19 2826 -2
요청
[복구요청]Croove 2160p 통합본
819455
05/19
2739
0
[복구요청]Croove 2160p 통합본
요청
819455
05/19 2739 0
질문
두근두근 성감마사지 이거 전작 먼저 해보는 편이 나은가요?
lefrah3
05/19
2561
0
두근두근 성감마사지 이거 전작 먼저 해보는 편이 나은가요?
질문
lefrah3
05/19 2561 0
후기 및 공략
짧고 재밌는 도트겜 교배위원이 하는일
fourdragonruler
05/19
4751
2
짧고 재밌는 도트겜 교배위원이 하는일
후기 및 공략
fourdragonruler
05/19 4751 2
요청
[복구요청] [ ハリマオ] [Ai 음성] 페코마마 카운트다운 게임
hahan
05/19
2025
2
[복구요청] [ ハリマオ] [Ai 음성] 페코마마 카운트다운 게임
요청
hahan
05/19 2025 2
질문
짤 작가 이름이나 링크 있을까요
abbbbcccc
05/19
2236
0
짤 작가 이름이나 링크 있을까요
질문
abbbbcccc
05/19 2236 0
질문
유니슨 코드 난이도 추천좀
chronoro
05/19
1963
0
유니슨 코드 난이도 추천좀
질문
chronoro
05/19 1963 0
복구
[[요청복구]] [RJ410262] Lost Chapter v2.10
에로스테는 필수 스테는 선택
05/19
17232
114
[[요청복구]] [RJ410262] Lost Chapter v2.10
복구
에로스테는 필수 스테는 선택
05/19 17232 114
정보
비타퀘2하는 사람들 팁 주자면
fhflqhwl
05/19
5712
11
비타퀘2하는 사람들 팁 주자면
정보
fhflqhwl
05/19 5712 11
영상
[MP-7L] 모음 21gb
zadvoskoi
05/19
24756
86
[MP-7L] 모음 21gb
영상
zadvoskoi
05/19 24756 86
정보
버섯섬 제작사) 검도장ntr 6월중순으로 출시연기
머겅머겅
05/19
4101
7
버섯섬 제작사) 검도장ntr 6월중순으로 출시연기
정보
머겅머겅
05/19 4101 7
정보
아득한 세레스피아 치트상자 비밀번호
르모듈러
05/19
4372
21
아득한 세레스피아 치트상자 비밀번호
정보
르모듈러
05/19 4372 21
질문
비월선행록 취선거문지기는 남자인가
보바도사
05/19
2754
0
비월선행록 취선거문지기는 남자인가
질문
보바도사
05/19 2754 0
질문
나히아, 리제로, 비스크돌 등등 애니캐 기반 야겜 추천 좀 해주세요
너울
05/19
3311
0
나히아, 리제로, 비스크돌 등등 애니캐 기반 야겜 추천 좀 해주세요
질문
너울
05/19 3311 0
영상
U2FrdXJhIE5pZ2h0 모음집
project OSY
05/19
25035
120
U2FrdXJhIE5pZ2h0 모음집
영상
project OSY
05/19 25035 120
요청
RJ01041019 게헨나 (ゲヘナ) 1.09 복구 요청 드립니다.
mu52w
05/19
2526
1
RJ01041019 게헨나 (ゲヘナ) 1.09 복구 요청 드립니다.
요청
mu52w
05/19 2526 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43