로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4679 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90672
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90672 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205083
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205083 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252881
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252881 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243509
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243509 -14
야짤
AI, 셀레스포니아) 러브 리버티의 가르침
miso5
05/03
11445
125
AI, 셀레스포니아) 러브 리버티의 가르침
야짤
miso5
05/03 11445 125
복구
요청 복구) RJ01244412 NTR레슨 1.92 + DLC RJ01309333 (26.05.03 17:00 수정)
딸ㄱ기맛
05/03
36098
79
요청 복구) RJ01244412 NTR레슨 1.92 + DLC RJ01309333 (26.05.03 17:00 수정)
복구
딸ㄱ기맛
05/03 36098 79
영상
내가 좋아하는 그아이는 시즌2 1화 2k
nuguge
05/03
24386
89
내가 좋아하는 그아이는 시즌2 1화 2k
영상
nuguge
05/03 24386 89
동인
[shunjou suusuke]친구 엄마는 음란한 숙녀
qpsjcb00
05/03
21142
56
[shunjou suusuke]친구 엄마는 음란한 숙녀
동인
qpsjcb00
05/03 21142 56
후기 및 공략
네노토리 개발자 진짜 인문학적 변태네ㅋㅋㅋ
전여친
05/03
10811
31
네노토리 개발자 진짜 인문학적 변태네ㅋㅋㅋ
후기 및 공략
전여친
05/03 10811 31
동인
[미번/Terasu Mc] 슬랙스만 고집하던 소꿉친구가 어느 날…
미식이네
05/03
25291
68
[미번/Terasu Mc] 슬랙스만 고집하던 소꿉친구가 어느 날…
동인
미식이네
05/03 25291 68
정보
⚠️마야 미션 보안 분석 결과
moomin
05/03
13954
46
⚠️마야 미션 보안 분석 결과
정보
moomin
05/03 13954 46
창작
아리아드네 MZ 이식 90일 차
Code_Max
05/03
13551
95
아리아드네 MZ 이식 90일 차
창작
Code_Max
05/03 13551 95
동인
[손번역] Kurukuru 고향 납정(精) ~학생 편~
fhfhfghdr453
05/03
48518
262
[손번역] Kurukuru 고향 납정(精) ~학생 편~
동인
fhfhfghdr453
05/03 48518 262
동인
청아, AI번역) [직번] 기뢰의 시간 (Umiyamasoze)
rapbit
05/03
16347
65
청아, AI번역) [직번] 기뢰의 시간 (Umiyamasoze)
동인
rapbit
05/03 16347 65
야짤
ai, 이터널 리턴) 바니걸 아비게일의 VVIP 전용 서비스
kjh9304
05/03
14386
89
ai, 이터널 리턴) 바니걸 아비게일의 VVIP 전용 서비스
야짤
kjh9304
05/03 14386 89
일반
[내용추가] 마야인지 먼지 일단 받지말어라
doonle
05/03
9187
29
[내용추가] 마야인지 먼지 일단 받지말어라
일반
doonle
05/03 9187 29
번역
마야 미션 0.7 기번 한패 (완결)
maksani
05/02
36686
97
마야 미션 0.7 기번 한패 (완결)
번역
maksani
05/02 36686 97
후기 및 공략
하네스 엔지니어링을 사용한 "능력 있는 후배 아오이짱!" 번역 후기
coupon
05/02
3462
15
하네스 엔지니어링을 사용한 "능력 있는 후배 아오이짱!" 번역 후기
후기 및 공략
coupon
05/02 3462 15
동인
[AKIRE][컬러/노모] 나만의 응석을 받아주는 거유JK아내를 다른남자에게 안기게 해봤다 1~12
프로베스트캣
05/02
23944
162
[AKIRE][컬러/노모] 나만의 응석을 받아주는 거유JK아내를 다른남자에게 안기게 해봤다 1~12
동인
프로베스트캣
05/02 23944 162
번역
(RJ01578853)세상물정 모르는 고양이 에르샤 ver1.03 기번 [팀 발번역 1.0.0]
쿠츄쿠츄
05/02
63645
400
(RJ01578853)세상물정 모르는 고양이 에르샤 ver1.03 기번 [팀 발번역 1.0.0]
번역
쿠츄쿠츄
05/02 63645 400
일반
나는 여러분의 번역 평가를 믿지 않음
루미네순애
05/02
5973
25
나는 여러분의 번역 평가를 믿지 않음
일반
루미네순애
05/02 5973 25
동인
[さるら] 수치의 목욕탕중계 그 후
bender
05/02
17667
47
[さるら] 수치의 목욕탕중계 그 후
동인
bender
05/02 17667 47
번역
[기번/완전노모] IV?AV!! -2nd Girl- ver.1.2.0
ilillilllilil
05/02
67248
345
[기번/완전노모] IV?AV!! -2nd Girl- ver.1.2.0
번역
ilillilllilil
05/02 67248 345
소리
靑夏 시리즈
정실은스쿨드
05/02
15473
58
靑夏 시리즈
소리
정실은스쿨드
05/02 15473 58
동인
[Mizu no Uro] 시골 여동생과 무지의 유혹 2
카오스
05/02
50812
342
[Mizu no Uro] 시골 여동생과 무지의 유혹 2
동인
카오스
05/02 50812 342
동인
[Mizu no Uro] 시골 여동생과 무지의 유혹
카오스
05/02
52677
313
[Mizu no Uro] 시골 여동생과 무지의 유혹
동인
카오스
05/02 52677 313
정보
번역 용어의 정의와 가이드라인에 대한 개인적인 주관
미스터장
05/02
7483
47
번역 용어의 정의와 가이드라인에 대한 개인적인 주관
정보
미스터장
05/02 7483 47
복구
[요청복구] RJ087520 아이리스 액션+RJ01140283 아이리스☆크로니클
blackmalangcalf
05/02
30850
92
[요청복구] RJ087520 아이리스 액션+RJ01140283 아이리스☆크로니클
복구
blackmalangcalf
05/02 30850 92
창작
(청아) 꾸준 연필 31주차
지나가던사람
05/02
13799
29
(청아) 꾸준 연필 31주차
창작
지나가던사람
05/02 13799 29
영상
[S2l0b3UgUmlqaWNobw] 내가 좋아하는 그아이는
vereeeev
05/02
32060
134
[S2l0b3UgUmlqaWNobw] 내가 좋아하는 그아이는
영상
vereeeev
05/02 32060 134
소리
【밀착 음란한 말 속삭임】 초 VIP님 한정 회원제 비밀 클럽 『최○오나홀 천국』 ~강○인권 양도로 자지 아첨 복종 봉사 하렘~【KU100】
키리안
05/02
19763
115
【밀착 음란한 말 속삭임】 초 VIP님 한정 회원제 비밀 클럽 『최○오나홀 천국』 ~강○인권 양도로 자지 아첨 복종 봉사 하렘~【KU100】
소리
키리안
05/02 19763 115
동인
청아, AI번역) [직번] 방심한 여동생 유즈쨩!
rapbit
05/02
29232
166
청아, AI번역) [직번] 방심한 여동생 유즈쨩!
동인
rapbit
05/02 29232 166
영상
[Kitou Rijicho] [미번] 내가 좋아하는 그아이는 걸레였다 시즌 2 2~9화
snowingtown1122
05/02
44592
200
[Kitou Rijicho] [미번] 내가 좋아하는 그아이는 걸레였다 시즌 2 2~9화
영상
snowingtown1122
05/02 44592 200
영상
야심한 새벽 메카미 시프티
a27627142
05/02
31457
104
야심한 새벽 메카미 시프티
영상
a27627142
05/02 31457 104
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43