로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4590 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60599
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60599 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90609
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90609 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204978
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204978 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252778
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252778 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243389
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243389 -14
영상
엽빛나 [ZZZ] (기본 + 후타)
브레머튼
04/27
23430
95
엽빛나 [ZZZ] (기본 + 후타)
영상
브레머튼
04/27 23430 95
영상
시시아 & 와이즈 (ZZZ)
브레머튼
04/27
22565
102
시시아 & 와이즈 (ZZZ)
영상
브레머튼
04/27 22565 102
동인
[P and I] 장난으로 수영복 수치 노출 -반 친구들에게 보여진 가슴- + IF 스토리
ed123
04/27
27709
64
[P and I] 장난으로 수영복 수치 노출 -반 친구들에게 보여진 가슴- + IF 스토리
동인
ed123
04/27 27709 64
영상
[야애니] 누퀴톼쉬 스페셜 1-4
공승아
04/26
46874
260
[야애니] 누퀴톼쉬 스페셜 1-4
영상
공승아
04/26 46874 260
복구
[요청복구] Glory & Miserable Survivors DX
stir-friedturnip
04/26
22706
53
[요청복구] Glory & Miserable Survivors DX
복구
stir-friedturnip
04/26 22706 53
동인
미번) 교배 라이센스 ~ 비치헌팅으로 마구 섹스 편 ~
kjalar
04/26
25321
44
미번) 교배 라이센스 ~ 비치헌팅으로 마구 섹스 편 ~
동인
kjalar
04/26 25321 44
영상
(アブジャン)산타코스 타카기 양과 씹덕남의 메모리
greenwow
04/26
25515
118
(アブジャン)산타코스 타카기 양과 씹덕남의 메모리
영상
greenwow
04/26 25515 118
복구
[고전 명작]나와 그녀와 그녀의 사랑
blackmalangcalf
04/26
21602
62
[고전 명작]나와 그녀와 그녀의 사랑
복구
blackmalangcalf
04/26 21602 62
복구
(요청복구) RJ140344 아카쿠비 투기장
Ghost
04/26
20915
43
(요청복구) RJ140344 아카쿠비 투기장
복구
Ghost
04/26 20915 43
동인
[sugiyuu] 암컷타락 누나. 늘 나를 지켜주던 여장부 같던 누나는 오늘도 선배의 품에 안겨 여자가 된다
asawqs11
04/26
25548
75
[sugiyuu] 암컷타락 누나. 늘 나를 지켜주던 여장부 같던 누나는 오늘도 선배의 품에 안겨 여자가 된다
동인
asawqs11
04/26 25548 75
야짤
AI, 블아) 수영복 이즈나랑 해변
miso5
04/26
13497
46
AI, 블아) 수영복 이즈나랑 해변
야짤
miso5
04/26 13497 46
번역
[한글패치]이상한 형무소와 음욕의 지하 미궁 ~빈틈투성이인 나나의 H한 프리즌 브레이크~_1.1.0
아르
04/26
89908
371
[한글패치]이상한 형무소와 음욕의 지하 미궁 ~빈틈투성이인 나나의 H한 프리즌 브레이크~_1.1.0
번역
아르
04/26 89908 371
소리
걸레인 미카 씨는 만지게 해주지 않아.
dasdaa
04/26
17443
60
걸레인 미카 씨는 만지게 해주지 않아.
소리
dasdaa
04/26 17443 60
후기 및 공략
후기) 내 근육 돌려줘!
parmisgood
04/26
11910
43
후기) 내 근육 돌려줘!
후기 및 공략
parmisgood
04/26 11910 43
세이브
RJ01557970 너스콜 경비원(자택경비원3) 세이브파일
ersya
04/26
19586
18
RJ01557970 너스콜 경비원(자택경비원3) 세이브파일
세이브
ersya
04/26 19586 18
동인
[Isenori] 음침한 여동생을 『교육』해서 쾌락 중독의 육변기로 만든다 28
요요코코
04/26
20068
52
[Isenori] 음침한 여동생을 『교육』해서 쾌락 중독의 육변기로 만든다 28
동인
요요코코
04/26 20068 52
번역
[🔞체험판 공개! 체험판 한국어 패치 파일] 대 꽃 필 무렵에 체험판
폭8맛
04/26
80343
169
[🔞체험판 공개! 체험판 한국어 패치 파일] 대 꽃 필 무렵에 체험판
번역
폭8맛
04/26 80343 169
미번
[미번] 미번 일겜 73개 + 미번 양겜 14개
미스터장
04/26
61954
272
[미번] 미번 일겜 73개 + 미번 양겜 14개
미번
미스터장
04/26 61954 272
야짤
AI, 셀레스포니아) 벽 엉덩이, 그 후
miso5
04/26
10955
114
AI, 셀레스포니아) 벽 엉덩이, 그 후
야짤
miso5
04/26 10955 114
정보
이미지 잘못 드래그해서 바이러스 대처 방안 2800자 날라감 장문
laat2
04/26
12632
74
이미지 잘못 드래그해서 바이러스 대처 방안 2800자 날라감 장문
정보
laat2
04/26 12632 74
동인
[번역/저퀄] [kawase seiki] Underworld Lover
cjd08
04/26
20090
41
[번역/저퀄] [kawase seiki] Underworld Lover
동인
cjd08
04/26 20090 41
복구
[요청복구] RJ01361520 Trial of lust 번역 파일
도로롱
04/26
23777
58
[요청복구] RJ01361520 Trial of lust 번역 파일
복구
도로롱
04/26 23777 58
영상
신학 & 감우 'DON'T GIVE UP' 4K
브레머튼
04/26
27835
154
신학 & 감우 'DON'T GIVE UP' 4K
영상
브레머튼
04/26 27835 154
정보
미끼 치한 수사관 리나 유저 모드 업데이트
happy123
04/26
13311
35
미끼 치한 수사관 리나 유저 모드 업데이트
정보
happy123
04/26 13311 35
미번
본디지 게임 & 본디지 게임 DVG
argoklarke
04/26
10021
45
본디지 게임 & 본디지 게임 DVG
미번
argoklarke
04/26 10021 45
소리
[구매보급]암컷 타락 합숙【전편 느릿오호】
이름뭐하지
04/26
16894
69
[구매보급]암컷 타락 합숙【전편 느릿오호】
소리
이름뭐하지
04/26 16894 69
영상
[구매보급/최면 영상] RJ405819 더블 서큐버스 마인드 해킹 라이브
summer4552
04/26
23924
83
[구매보급/최면 영상] RJ405819 더블 서큐버스 마인드 해킹 라이브
영상
summer4552
04/26 23924 83
영상
[야애니/알림] 음오옥 똰지 2화 업 알림
공승아
04/26
21619
59
[야애니/알림] 음오옥 똰지 2화 업 알림
영상
공승아
04/26 21619 59
세이브
RJ01406729 퇴마사 시즈나 (게임+회상방 개방)
gnown
04/26
12573
19
RJ01406729 퇴마사 시즈나 (게임+회상방 개방)
세이브
gnown
04/26 12573 19
영상
루콜라 (포켓몬 챔피언스)
브레머튼
04/26
32632
214
루콜라 (포켓몬 챔피언스)
영상
브레머튼
04/26 32632 214
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43