로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4768 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60808
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60808 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
91420
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 91420 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205669
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205669 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253895
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253895 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243852
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243852 -14
일반
그냥 딸깍이 문제되는 이유를 정리한 글
솔직히그건좀아니라고생각해요
11/11/25
4263
42
그냥 딸깍이 문제되는 이유를 정리한 글
일반
솔직히그건좀아니라고생각해요
11/11/25 4263 42
일반
번역탭에 한번이라도 글 올려본 역자 있으면 의견 좀 달아봐
미스터장
11/11/25
5222
42
번역탭에 한번이라도 글 올려본 역자 있으면 의견 좀 달아봐
일반
미스터장
11/11/25 5222 42
일반
최근 일들에 대한 이런 저런 생각
앨리스
11/11/25
7339
128
최근 일들에 대한 이런 저런 생각
일반
앨리스
11/11/25 7339 128
일반
번역 관련 규칙에 대한 본인 생각
미스터장
11/09/25
3895
110
번역 관련 규칙에 대한 본인 생각
일반
미스터장
11/09/25 3895 110
일반
종말의 얼터에고이즘 스크립트는 끝났는대 대화는 도저히 못하겠네.
alapop
11/08/25
7206
85
종말의 얼터에고이즘 스크립트는 끝났는대 대화는 도저히 못하겠네.
일반
alapop
11/08/25 7206 85
일반
번역에 대한 개인적 견해
anisakis
11/07/25
4559
36
번역에 대한 개인적 견해
일반
anisakis
11/07/25 4559 36
일반
난 이번에 님들이 이런걸로 토론을 해서 좋다고 생각해
미스터장
11/07/25
5172
43
난 이번에 님들이 이런걸로 토론을 해서 좋다고 생각해
일반
미스터장
11/07/25 5172 43
일반
이번 번역사태 소신발언
kaped35391
11/07/25
5442
67
이번 번역사태 소신발언
일반
kaped35391
11/07/25 5442 67
일반
노골적으로 이런 상황을 유도하려고 생긴 문제니까 더 불타는거임
rpgmando
11/07/25
6965
69
노골적으로 이런 상황을 유도하려고 생긴 문제니까 더 불타는거임
일반
rpgmando
11/07/25 6965 69
일반
딸깍 번역은 사라져야 한다 = 정상
아임깡통파인땡큐?
11/07/25
6125
18
딸깍 번역은 사라져야 한다 = 정상
일반
아임깡통파인땡큐?
11/07/25 6125 18
일반
서브 왜 불타는지 모르면 이거 보셈
rpgmando
11/07/25
10652
76
서브 왜 불타는지 모르면 이거 보셈
일반
rpgmando
11/07/25 10652 76
일반
하루 사이에 불타오른 번역 검수에 대한 개인적 생각
미스터장
11/07/25
7458
135
하루 사이에 불타오른 번역 검수에 대한 개인적 생각
일반
미스터장
11/07/25 7458 135
일반
미번검수도 진짜 웃기다니까
soosos
11/06/25
13293
82
미번검수도 진짜 웃기다니까
일반
soosos
11/06/25 13293 82
일반
종말의 알터 에고이즘 최대한 정교하게 번역해보려고 파이썬 돌리고 있는데
h7474
11/05/25
6641
58
종말의 알터 에고이즘 최대한 정교하게 번역해보려고 파이썬 돌리고 있는데
일반
h7474
11/05/25 6641 58
일반
신인마왕 번역 시작및 진행도..
keris
11/04/25
3909
16
신인마왕 번역 시작및 진행도..
일반
keris
11/04/25 3909 16
일반
커뮤질을 하다보면 긁힐 수 있음
미스터장
11/04/25
7606
129
커뮤질을 하다보면 긁힐 수 있음
일반
미스터장
11/04/25 7606 129
일반
얼터 에고이즘 CommonEvents.txt 번역한거
네토라레프린세스
11/01/25
4524
22
얼터 에고이즘 CommonEvents.txt 번역한거
일반
네토라레프린세스
11/01/25 4524 22
일반
코네 운영진 근황 떴다!!!
솔직히그건좀아니라고생각해요
10/28/25
7468
62
코네 운영진 근황 떴다!!!
일반
솔직히그건좀아니라고생각해요
10/28/25 7468 62
일반
슬슬 또 작업을 해야겠쥐
Ghost
10/27/25
3851
53
슬슬 또 작업을 해야겠쥐
일반
Ghost
10/27/25 3851 53
일반
밤늦게까지 이러지말고 잠이나자야겠순
ㅇㅇ
10/25/25
1727
16
밤늦게까지 이러지말고 잠이나자야겠순
일반
ㅇㅇ
10/25/25 1727 16
일반
요상한 떡밥 굴러가길래 해당 규정 관련해서 한 마디
앨리스
10/19/25
5279
30
요상한 떡밥 굴러가길래 해당 규정 관련해서 한 마디
일반
앨리스
10/19/25 5279 30
일반
씹덕 판에서는 '실사' 절대 허용하면 안 됨.
전여친
10/19/25
6959
91
씹덕 판에서는 '실사' 절대 허용하면 안 됨.
일반
전여친
10/19/25 6959 91
일반
실사 관련으로 뜨거워져서 한마디 함
노아선배
10/19/25
9786
148
실사 관련으로 뜨거워져서 한마디 함
일반
노아선배
10/19/25 9786 148
일반
안녕하세요. 개인 창고 채널입니다.
우로
10/16/25
5319
49
안녕하세요. 개인 창고 채널입니다.
일반
우로
10/16/25 5319 49
일반
손번역 자료 갖다가 그냥 다른 서브에 올리시는 분, 건강하시죠?
미스터장
10/14/25
9340
250
손번역 자료 갖다가 그냥 다른 서브에 올리시는 분, 건강하시죠?
일반
미스터장
10/14/25 9340 250
일반
번역과 딸깍에 대한 개인적인 생각
미스터장
10/11/25
2842
45
번역과 딸깍에 대한 개인적인 생각
일반
미스터장
10/11/25 2842 45
일반
게시글 내립니당
쩝냡
10/10/25
7630
44
게시글 내립니당
일반
쩝냡
10/10/25 7630 44
일반
다들 즐추하시고 선물을 하나 보내볼까 하는데
saruyama0103
10/06/25
4446
51
다들 즐추하시고 선물을 하나 보내볼까 하는데
일반
saruyama0103
10/06/25 4446 51
일반
조회수 대비 추천수가 낮은이유를 생각해봤음
sinkw
10/02/25
4776
221
조회수 대비 추천수가 낮은이유를 생각해봤음
일반
sinkw
10/02/25 4776 221
일반
으흐흐 잠입성공
쩝냡
10/01/25
6394
45
으흐흐 잠입성공
일반
쩝냡
10/01/25 6394 45
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43