로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4531 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60581
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60581 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90548
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90548 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204602
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204602 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252684
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252684 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243271
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243271 -14
야짤
AI) 에니시아와 계약문, 응달거리 하층 최면 봉사 (본방 추가)
miso5
04/22
14437
85
AI) 에니시아와 계약문, 응달거리 하층 최면 봉사 (본방 추가)
야짤
miso5
04/22 14437 85
동인
직번)[kidou muichi]쿨한 그녀에게 노려진다
woo15
04/22
22259
63
직번)[kidou muichi]쿨한 그녀에게 노려진다
동인
woo15
04/22 22259 63
동인
[Mitsudoue] 이나리 님이 말하는 대로
ㅇㅇ
04/22
36520
194
[Mitsudoue] 이나리 님이 말하는 대로
동인
ㅇㅇ
04/22 36520 194
소리
[구매보급][마조 타락]노●에 굴복～귀족 아가씨의 ”애완견”에서 ”주인”으로 승급했습니다♪
이름뭐하지
04/22
17064
66
[구매보급][마조 타락]노●에 굴복～귀족 아가씨의 ”애완견”에서 ”주인”으로 승급했습니다♪
소리
이름뭐하지
04/22 17064 66
유틸
마나카 모드들
kkkktrrr
04/22
17159
33
마나카 모드들
유틸
kkkktrrr
04/22 17159 33
영상
아리아 (ZZZ)
브레머튼
04/22
33204
83
아리아 (ZZZ)
영상
브레머튼
04/22 33204 83
영상
New 엑서사이즈 (4월) + 패트리온 노모 버전 추가
브레머튼
04/22
27912
174
New 엑서사이즈 (4월) + 패트리온 노모 버전 추가
영상
브레머튼
04/22 27912 174
정보
언홀리 메이든 자체한글 나오나 보네
r4gsdrg
04/22
7201
18
언홀리 메이든 자체한글 나오나 보네
정보
r4gsdrg
04/22 7201 18
동인
[Rifuru] 우리는 누나에게 사로잡혔다
ed123
04/22
26181
73
[Rifuru] 우리는 누나에게 사로잡혔다
동인
ed123
04/22 26181 73
미번
퍼리)[구매보급][번역요청] [Live2D 터치 게임]눈표범 유부녀와 함께하는 에로틱 마사지
skeh1023
04/22
15926
33
퍼리)[구매보급][번역요청] [Live2D 터치 게임]눈표범 유부녀와 함께하는 에로틱 마사지
미번
skeh1023
04/22 15926 33
소리
[구매보급/기계번역] BSS 보급위원회 음성 3개
극악무도한BSS사랑꾼
04/22
17616
29
[구매보급/기계번역] BSS 보급위원회 음성 3개
소리
극악무도한BSS사랑꾼
04/22 17616 29
동인
[AKIRE][컬러/노모] 나만의 응석을 받아주는 거유JK아내를 다른남자에게 안기게 해봤다 12
프로베스트캣
04/22
18279
71
[AKIRE][컬러/노모] 나만의 응석을 받아주는 거유JK아내를 다른남자에게 안기게 해봤다 12
동인
프로베스트캣
04/22 18279 71
동인
우테나의 실수 1 ~ 4 (딸칵 번역 제미나이 api + 글록 ai )
noname
04/22
22337
34
우테나의 실수 1 ~ 4 (딸칵 번역 제미나이 api + 글록 ai )
동인
noname
04/22 22337 34
복구
[요청복구] UTOPIA RJ01428940
안냐때요
04/22
34662
79
[요청복구] UTOPIA RJ01428940
복구
안냐때요
04/22 34662 79
복구
[요청복구] RJ01041481 전령희 레이시아 ver2.01 번역 + 노모 + 세이브
carstein
04/22
34179
82
[요청복구] RJ01041481 전령희 레이시아 ver2.01 번역 + 노모 + 세이브
복구
carstein
04/22 34179 82
동인
[노모화본] [Ginyou Haru] Sourou Kokufuku Clinic ｜ 조루 극복 클리닉 노모 내가
lliililiiii
04/22
26641
132
[노모화본] [Ginyou Haru] Sourou Kokufuku Clinic ｜ 조루 극복 클리닉 노모 내가
동인
lliililiiii
04/22 26641 132
동인
세키레이짱과 나
kifbodo245
04/22
25660
101
세키레이짱과 나
동인
kifbodo245
04/22 25660 101
복구
누더기팩 복구
madsomi
04/21
49976
61
누더기팩 복구
복구
madsomi
04/21 49976 61
복구
복구 4종
햄댕이
04/21
67882
75
복구 4종
복구
햄댕이
04/21 67882 75
미번
[버전업/번역요청] RJ01596986 루나와 음욕의 함정 던전 v1.0.1
rovingballs
04/21
38853
142
[버전업/번역요청] RJ01596986 루나와 음욕의 함정 던전 v1.0.1
미번
rovingballs
04/21 38853 142
요청
[복구요청] 포크스튜디오(돼지고기 스튜디오, スタジオポーク) 게임/번역파일들 복구요청 드립니다
yusang22
04/21
8490
16
[복구요청] 포크스튜디오(돼지고기 스튜디오, スタジオポーク) 게임/번역파일들 복구요청 드립니다
요청
yusang22
04/21 8490 16
야짤
[Ai 후원] 아마기 브릴 센토 이스즈 [100p]
Ghost
04/21
20332
35
[Ai 후원] 아마기 브릴 센토 이스즈 [100p]
야짤
Ghost
04/21 20332 35
야짤
[Ai 후원] 코테가와 유이 [153p]
Ghost
04/21
7919
32
[Ai 후원] 코테가와 유이 [153p]
야짤
Ghost
04/21 7919 32
미번
[구매보급] RJ065361 여고생 담력 테스트 1
어흙마이깟
04/21
16831
21
[구매보급] RJ065361 여고생 담력 테스트 1
미번
어흙마이깟
04/21 16831 21
복구
[요청복구] 햇살속의 리얼 완전판
vhskorea
04/21
41983
85
[요청복구] 햇살속의 리얼 완전판
복구
vhskorea
04/21 41983 85
야짤
[Ai 후원] 유이가하마 유이 알몸 에이프런 [47p]
Ghost
04/21
5234
29
[Ai 후원] 유이가하마 유이 알몸 에이프런 [47p]
야짤
Ghost
04/21 5234 29
야짤
[Ai 후원] 옆집 천사 시이나 마히루 [100p]
Ghost
04/21
15549
26
[Ai 후원] 옆집 천사 시이나 마히루 [100p]
야짤
Ghost
04/21 15549 26
야짤
[Ai 후원] 모모 베리아 데빌룩 [59p]
Ghost
04/21
10893
26
[Ai 후원] 모모 베리아 데빌룩 [59p]
야짤
Ghost
04/21 10893 26
야짤
[Ai 후원] 반디 [45p]
Ghost
04/21
9866
28
[Ai 후원] 반디 [45p]
야짤
Ghost
04/21 9866 28
야짤
[Ai 후원] 걸판 다즐링 [47p]
Ghost
04/21
5652
24
[Ai 후원] 걸판 다즐링 [47p]
야짤
Ghost
04/21 5652 24
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43